整理

本文整理了一些简单的文本切分方法，适用于大言语模型经典使用RAG或类似场景。

一般切分

假如不借助任何包，很简单想到如下切分方案：


text = "我是一个名为 ChatGLM3-6B 的人工智能助手，是根据清华大学 KEG 实验室和智谱 AI 公司于 2023 年一起练习的言语模型开发的。我的方针是经过答复用户提出的问题来协助他们处理问题。因为我是一个计算机程序，所以我没有实践的存在，只能经过互联网来与用户沟通。"
chunks = []
chunk_size = 128 
for i in range(0, len(text), chunk_size):
    chunk = text[i:i + chunk_size]
    chunks.append(chunk)
chunks

['我是一个名为 ChatGLM3-6B 的人工智能助手，是根据清华大学 KEG 实验室和智谱 AI 公司于 2023 年一起练习的言语模型开发的。我的方针是经过答复用户提出的问题来协助他们处理问题。因为我是一个计算机程序，所以我没有实践的存在，只能经过互联网',
 '来与用户沟通。']

字符切分

运用CharacterTextSplitter，一般的设置参数为：chunk_size、 chunk_overlap、separator和strip_whitespace。

from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter(chunk_size = 35, chunk_overlap=0, separator='', strip_whitespace=False)
text_splitter.create_documents([text])

[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手，是根据清华大学 '),
 Document(page_content='KEG 实验室和智谱 AI 公司于 2023 年一起练习的言语模型开发'),
 Document(page_content='的。我的方针是经过答复用户提出的问题来协助他们处理问题。因为我是一个计'),
 Document(page_content='算机程序，所以我没有实践的存在，只能经过互联网来与用户沟通。')]

递归字符切分

运用RecursiveCharacterTextSplitter，一般的设置参数为：chunk_size、 chunk_overlap。

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(chunk_size = 35, chunk_overlap=0)
text_splitter.create_documents([text])

[Document(page_content='我是一个名为 ChatGLM3-6B 的人工智能助手，是根据清华大学'),
 Document(page_content='KEG 实验室和智谱 AI 公司于 2023'),
 Document(page_content='年一起练习的言语模型开发的。我的方针是经过答复用户提出的问题来协助他'),
 Document(page_content='们处理问题。因为我是一个计算机程序，所以我没有实践的存在，只能经过互联'),
 Document(page_content='网来与用户沟通。')]

与CharacterTextSplitter不同，RecursiveCharacterTextSplitter不需要设置分隔符，默许的几个分隔符如下：

"nn" - 两个换行符，一般认为是阶段分隔符
"n" - 换行符
" " - 空格
"" - 字符

拆分器首先查找两个换行符（阶段分隔符）。一旦阶段被分割，它就会查看块的巨细，假如块太大，那么它会被下一个分隔符分割。假如块依然太大，那么它将移动到下一个块上，以此类推。

Mrrkdown切分

除了对一般的文本字符进行切格外，langchain还支撑对md、html、py、js等各种特殊文本或代码进行切分。

# 以下是一段md文本
markdown_text = """
**LangChain-Chatchat** 
根据ChatGLM等大言语模型与Langchain等使用结构完成，开源、可离线布置的检索增强生成(RAG)大模型知识库项目。
## 目录
* 介绍
* 处理的痛点
* 快速上手
* 1. 环境装备
* 2. 模型下载
* 3. 初始化知识库和装备文件
* 4. 一键发动
* 5. 发动界面示例
* 联络咱们
## 介绍
一种使用langchain思想完成的根据本地知识库的问答使用，方针希望树立一套对中文场景与开源模型支撑友好、可离线运转的知识库问答处理方案。
一行指令运转 Docker ：
```shell
docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7

from langchain.text_splitter import MarkdownTextSplitter
splitter = MarkdownTextSplitter(chunk_size = 40, chunk_overlap=0)
splitter.create_documents([markdown_text])

[Document(page_content='**LangChain-Chatchat**'),
 Document(page_content='根据ChatGLM等大言语模型与Langchain等使用结构完成，开源、可离线'),
 Document(page_content='布置的检索增强生成(RAG)大模型知识库项目。'),
 Document(page_content='## 目录n* 介绍n* 处理的痛点n* 快速上手n* 1. 环境装备'),
 Document(page_content='* 2. 模型下载n* 3. 初始化知识库和装备文件n* 4. 一键发动'),
 Document(page_content='* 5. 发动界面示例n* 联络咱们'),
 Document(page_content='## 介绍'),
 Document(page_content='一种使用langchain思想完成的根据本地知识库的问答使用，方针希望树立一套'),
 Document(page_content='对中文场景与开源模型支撑友好、可离线运转的知识库问答处理方案。'),
 Document(page_content='一行指令运转 Docker ：n```shell'),
 Document(page_content='docker run -d --gpus all -p 80:8501'),
 Document(page_content='registry.cn-beijing.aliyuncs.com/chatch'),
 Document(page_content='at/chatchat:0.2.7'),
 Document(page_content='```')]

Python代码切分

python_text = """
class Person:
  def __init__(self, name, age):
    self.name = name
    self.age = age
p1 = Person("John", 36)
for i in range(10):
    print (i)
"""
from langchain.text_splitter import PythonCodeTextSplitter
python_splitter = PythonCodeTextSplitter(chunk_size=100, chunk_overlap=0)
python_splitter.create_documents([python_text])

[Document(page_content='class Person:n  def __init__(self, name, age):n    self.name = namen    self.age = age'),
 Document(page_content='p1 = Person("John", 36)nnfor i in range(10):n    print (i)')]

TODO

以上方法仅按照固定长度和分割符对文本进行切分，但这在很多情况下会导致损失语义。更高级的切分方法有：语义类似度切分和使用大模型Agent切分，后续再补充。