MSMuhammad Shahid

免费工具 · 在浏览器中运行

RAG 文本分块工具

为检索增强生成(RAG)切分文档,自选分块大小和重叠,并预览每一块。

快速解答

在 RAG 中,文档会被切分为文本块,再生成 Embedding 并存入向量检索。常见的起点是 200 到 800 个 Token 的块,加上 10% 到 20% 的重叠。本工具按段落和句子切分,避免把一个意思截成两半,并把每块的结尾重复放在下一块开头作为重叠。

使用方法

  1. 粘贴文档. 纯文本或 Markdown。
  2. 设置分块大小和重叠. 以估计 Token 计(每个约 4 个字符)。
  3. 检查并复制. 预览每一块及其大小,然后全部复制为 JSON。

示例

把一份手册分成有重叠的片段,并复制为 JSON:

输入

一份 6,000 词的英文手册(约 8,000 个 token)
片段大小:400 token · 重叠:50 token

输出

[
  "1. Introduction. This handbook explains how support requests are handled…",
  "…are handled from first contact to resolution. 2. Opening hours…",
  …
]

约 23 个片段,每个最多 400 个 token

常见错误及解决方法

输入对嵌入模型来说太长
某个片段超过了嵌入模型的上限。调小片段大小,让最大的片段也能留有余量地放进去。
回答漏掉了文档里有的信息
片段太小,带不上足够的上下文,或者关键句子被切断了。试试更大的片段或更多重叠,并在每个片段里加上文档标题。
搜索结果里同一段文字出现两次
重叠太大,相邻片段包含了相同的句子。把重叠降到 10% 到 20%,或在检索后去重。
表格和代码被切坏了
按句子切分会切断表格行和代码块。把表格和代码块单独作为片段。

常见问题

RAG 最佳分块大小是多少?

没有唯一答案。200 到 800 个 Token 是常见起点;小块匹配更精确,大块保留更多上下文。请用你自己的问题测试。

为什么分块之间要重叠?

让位于某块边缘的句子或观点也出现在下一块中,即使只检索到其中一块也不会丢失。

分块应该按段落吗?

尽量是。按段落和句子边界切分,能让每块都可读、有意义。

一定需要 RAG 吗?

不一定。如果文档能放进模型的上下文窗口,直接发送并配合提示词缓存会更简单,往往也更准确。

我的文档会被上传吗?

不会。分块在你的浏览器中完成。

什么是 RAG?

检索增强生成:针对每个问题,从你的文档中找出最相关的段落交给模型,让回答基于你的数据。

什么是 Embedding?

表示文本含义的一串数字。含义相近的文本得到相近的数字,向量检索就是靠它找到相关的文本块。

应该给每个文本块加标题或元数据吗?

应该。为每块加上文档标题、章节标题或来源,既能提高检索效果,也能让回答注明出处。

每个问题应该检索多少个文本块?

通常 3 到 10 个:足以覆盖答案,又不会让提示词塞满无关内容。请用真实问题测试。

分块大小会影响成本吗?

会。块越大、检索的块越多,每次提问的输入 Token 就越多。

来源

相关内容

同类更多工具