每个分块加几十个 token 上下文,检索失败减少 49%
默认分块参数没见过客户文档,应先用真实问题评测;再加上重排序,降幅可达 67%。
要点速览
- 语料不到约 200,000 token(约 500 页)时,可以直接放进提示词,无需分块。
- 分块大小和重叠应根据真实问题的测量结果来定,而不是照搬默认设置。
- 给每个分块开头加 50-100 token 上下文,检索失败减少 49%;配合重排序,减少 67%。
设想你驻场客户的第二周。检索增强生成(RAG)的演示轻松答对了你自己写的十个问题。接着,财务负责人输入了一个真实问题:北方子公司第二季度营收增长了多少?
系统返回一段话:“营收环比增长 3%”。这段话确实出自文档,但来自另一家子公司、另一个季度的报告。模型没有编造任何内容,它只是拿到了一段与公司名称和日期脱节的文字。
Anthropic 描述的正是这个问题:单独一个分块,已经看不出它说的是哪家公司、哪个时期。
对前线部署工程师(FDE)来说,几乎每个 RAG 项目都会碰到这种情况,因为企业文档里满是“如上所述”“本期”之类的说法。
本文依次讲三件事:先测量,再切分,然后给每个分块加上下文。
为什么不直接用默认值切分?
Microsoft 的 RAG 架构指南把分块方式视为系统设计中几乎无法回头的选择。原因很实际:改变切分方式,意味着下游的向量化、索引和测量都要重做。第二周做错的决定,会一直跟到交付。
与此同时,Chroma 的一份技术报告发现,几种流行分块策略的默认设置表现相当差。库会直接给你一个现成的分块大小,但这个数字从没见过客户的文档。
第一个问题:到底需不需要切分?
讨论怎么切之前,先问要不要切。Anthropic 指出,如果知识库小于 200,000 token(约 500 页),可以整个放进提示词,不必用 RAG。
在不少客户那里,第一个用例的文档只有几十份内部流程。第一次开会时就统计 token 数,可能省下一周搭数据管道的时间。只有语料超过这个阈值,或者会快速增长,才需要进入下一步。
用真实问题测量,而不是凭直觉
Microsoft 建议先做文档分析,再用一套准备好的文档和问题测试几种分块方式。文档分析就是看客户手里到底有什么:纯文本、带编号条款的合同,还是带表格和图片的报告。
文档结构决定切分方式。按 Microsoft 的说法,结构松散的文本适合按句切分,或者按固定大小切分并加重叠;半结构化文档适合做版面分析,或针对具体格式写定制代码。
Pinecone 补充了几个选型前要回答的问题:内容是什么类型,用的是哪个嵌入模型,用户的查询有多长、多复杂。最后一个问题只有和真实用户坐在一起才能回答。所以测试集应该来自他们,而不是你。
最简单的指标是命中率:对每个问题,包含答案的段落是否出现在前 k 个结果里?Chroma 更进一步,采用 token 级的交并比(IoU),可以脱离 RAG 管道的其他环节单独给分块打分。IoU 会惩罚重叠分块带来的冗余 token。
一个完整的示例
假设客户是一家保险公司,有几千份保单。你和客服团队坐在一起,收集了 40 个他们确实经常查询的问题,每个问题配上包含答案的条款。
然后你跑三种配置,测量前 5 个结果的命中率。下面的数字仅作示意,用来说明怎么解读结果。
| 配置 | 正确段落进入前 5 | 命中率 |
|---|---|---|
| 200 token,无重叠 | 24/40 | 60% |
| 200 token,重叠 50 token | 31/40 | 77.5% |
| 800 token,无重叠 | 28/40 | 70% |
从表中可以看出,无重叠的小分块明显落后于另外两种,因为答案常常恰好落在切口上。这与 Chroma 的观察一致:上下文较小时,需要重叠才能达到高召回率;也与 Microsoft 的提醒一致:相关上下文可能跨越多个分块。
800 token 的分块也不是答案。Pinecone 指出,分块太小或太大都会降低搜索结果的精确度。大分块的原因不难理解:一段长文字包含好几个不同的意思,它的向量很难精准匹配某个具体问题。
重叠也有代价:重复 token 更多,IoU 更低,索引更大。你选了第二种配置,但要写下理由和付出的代价。
给每个分块加上下文
选对大小,仍然解决不了开头那个错误。“营收增长 3%”那段话,不管是 200 token 还是 800 token,依然没说明属于哪家公司。Anthropic 提出的上下文检索(Contextual Retrieval)技术,针对的正是这种失败。
思路很简单:为每个分块单独写一小段上下文,通常 50-100 token,在向量化和建立 BM25 索引之前放到分块开头。据 Anthropic,这能让检索失败减少 49%,配合重排序则减少 67%。
下面的示意代码展示了一种做法:让大模型(LLM)读包含该分块的文档,再写出这段上下文。
# 示意代码:llm() 和 search() 是占位函数,请换成你实际使用的客户端
def contextualize(doc_text, chunk_text, llm):
prompt = (
"文档:\n" + doc_text + "\n\n"
"需要补充上下文的段落:\n" + chunk_text + "\n\n"
"用 1-2 句简短的话说明这段文字属于哪份文档、"
"涉及哪个单位、哪个时期。只返回上下文。"
)
context = llm(prompt) # 通常约 50-100 token
return context + "\n\n" + chunk_text # 对这个字符串做向量化和 BM25 索引
def hit_rate(test_set, search, k=5):
hits = 0
for q in test_set: # 每个 q 包含 "question" 和 "gold_span"
results = search(q["question"], k=k)
hits += any(q["gold_span"] in r.text for r in results)
return hits / len(test_set)
注意,hit_rate 检查的是正确段落是否出现在结果中,而不是比较分块 ID。这样同一套测试集可以用于所有分块配置。成本也不必太担心:借助提示词缓存,Anthropic 估计每百万文档 token 约 1.02 美元,前提是分块 800 token、文档 8,000 token。
上下文不只是文字说明。Microsoft 建议,描述被拆到多个分块的表格或图片时,要把图片 URL 附到每个分块上,让元数据跟着每一个用到它的答案走。文件名、页码和章节标题也应该同样随每个分块一起保存。
再测一次:示例的最后一轮
回到那家保险公司。你保留 200 token、重叠 50 token 的配置,给每个分块加上上下文,再用完全相同的 40 个问题跑一遍。这里的数字同样只是示意:假设结果升到 35/40,命中率 87.5%,之前是 31/40。
关键在于用同样的问题、同样的指标比较。如果中途换了测试集,就分不清提升来自上下文还是来自更简单的问题。这张“之前”和“之后”两行的表,也正是你建议客户开启该功能时要交给对方的材料。
常见错误
最常见的错误是自己写测试问题。工程师的问题往往照搬文档原文的措辞,命中率因此虚高。真实用户的问题更短、更模糊,还夹杂大量内部术语。
第二个错误是测一次就停。客户每新增一种文档类型,比如从合同扩展到会议纪要,测试集都要补充这类文档的问题。第三个错误是把表格当纯文本切:一行数字一旦和列标题分开,几乎就没有意义了。
最后一个错误是跳过语料规模检查。已经有不少复杂的管道,是为一套本可以塞进单个提示词的文档搭建的。
雇主在哪里看这项技能?
在 FDE 或 AI 工程师岗位的职位描述里,留意“retrieval quality”“evaluation”“RAG pipeline”“document ingestion”这类说法。它们说明这份工作恰好需要本文讲的能力。
简历上,一句带测量数据的话远比“搭建了 RAG 系统”有说服力。例如:“基于用户查询建立 40 个问题的测试集,比较 3 种分块配置,通过重叠和分块上下文将 hit rate@5 从 X 提升到 Y”。
面试时,要准备好解释所选配置背后的取舍:重叠能提高召回率,但会降低 IoU、让索引膨胀;800 token 的分块很少把答案切断,但搜索精确度较低。面试官想听到的是,你清楚自己为这个数字付出了什么。
客户永远不会问你用了多大的分块。他们只会记得系统报错了子公司营收的那一次,而能讲清楚原因的那个人,就是他们想留下的人。
这篇文章对你有帮助吗?
感谢你的反馈!