# 每个分块加几十个 token 上下文，检索失败减少 49%

> 默认分块参数没见过客户文档，应先用真实问题评测；再加上重排序，降幅可达 67%。

原文: https://fdetimes.net/zh/guides/chunking-client-documents-measure-then-contextualise/

设想你驻场客户的第二周。检索增强生成（RAG）的演示轻松答对了你自己写的十个问题。接着，财务负责人输入了一个真实问题：北方子公司第二季度营收增长了多少？

系统返回一段话：“营收环比增长 3%”。这段话确实出自文档，但来自另一家子公司、另一个季度的报告。模型没有编造任何内容，它只是拿到了一段与公司名称和日期脱节的文字。

Anthropic 描述的正是这个问题：单独一个分块，已经看不出它说的是哪家公司、哪个时期。

对前线部署工程师（FDE）来说，几乎每个 RAG 项目都会碰到这种情况，因为企业文档里满是“如上所述”“本期”之类的说法。

本文依次讲三件事：先测量，再切分，然后给每个分块加上下文。

## 为什么不直接用默认值切分？

Microsoft 的 RAG 架构指南把分块方式视为系统设计中几乎无法回头的选择。原因很实际：改变切分方式，意味着下游的向量化、索引和测量都要重做。第二周做错的决定，会一直跟到交付。

与此同时，Chroma 的一份技术报告发现，几种流行分块策略的默认设置表现相当差。库会直接给你一个现成的分块大小，但这个数字从没见过客户的文档。

**要点:** 不要用默认值选分块大小，要根据真实问题的测量结果来选。

## 第一个问题：到底需不需要切分？

讨论怎么切之前，先问要不要切。Anthropic 指出，如果知识库小于 200,000 token（约 500 页），可以整个放进提示词，不必用 RAG。

在不少客户那里，第一个用例的文档只有几十份内部流程。第一次开会时就统计 token 数，可能省下一周搭数据管道的时间。只有语料超过这个阈值，或者会快速增长，才需要进入下一步。

## 用真实问题测量，而不是凭直觉

Microsoft 建议先做文档分析，再用一套准备好的文档和问题测试几种分块方式。文档分析就是看客户手里到底有什么：纯文本、带编号条款的合同，还是带表格和图片的报告。

文档结构决定切分方式。按 Microsoft 的说法，结构松散的文本适合按句切分，或者按固定大小切分并加重叠；半结构化文档适合做版面分析，或针对具体格式写定制代码。

Pinecone 补充了几个选型前要回答的问题：内容是什么类型，用的是哪个嵌入模型，用户的查询有多长、多复杂。最后一个问题只有和真实用户坐在一起才能回答。所以测试集应该来自他们，而不是你。

最简单的指标是命中率：对每个问题，包含答案的段落是否出现在前 k 个结果里？Chroma 更进一步，采用 token 级的交并比（IoU），可以脱离 RAG 管道的其他环节单独给分块打分。IoU 会惩罚重叠分块带来的冗余 token。

## 一个完整的示例

假设客户是一家保险公司，有几千份保单。你和客服团队坐在一起，收集了 40 个他们确实经常查询的问题，每个问题配上包含答案的条款。

然后你跑三种配置，测量前 5 个结果的命中率。下面的数字仅作示意，用来说明怎么解读结果。

| 配置 | 正确段落进入前 5 | 命中率 |
|---|---|---|
| 200 token，无重叠 | 24/40 | 60% |
| 200 token，重叠 50 token | 31/40 | 77.5% |
| 800 token，无重叠 | 28/40 | 70% |

从表中可以看出，无重叠的小分块明显落后于另外两种，因为答案常常恰好落在切口上。这与 Chroma 的观察一致：上下文较小时，需要重叠才能达到高召回率；也与 Microsoft 的提醒一致：相关上下文可能跨越多个分块。

800 token 的分块也不是答案。Pinecone 指出，分块太小或太大都会降低搜索结果的精确度。大分块的原因不难理解：一段长文字包含好几个不同的意思，它的向量很难精准匹配某个具体问题。

重叠也有代价：重复 token 更多，IoU 更低，索引更大。你选了第二种配置，但要写下理由和付出的代价。

## 给每个分块加上下文

选对大小，仍然解决不了开头那个错误。“营收增长 3%”那段话，不管是 200 token 还是 800 token，依然没说明属于哪家公司。Anthropic 提出的上下文检索（Contextual Retrieval）技术，针对的正是这种失败。

思路很简单：为每个分块单独写一小段上下文，通常 50-100 token，在向量化和建立 BM25 索引之前放到分块开头。据 Anthropic，这能让检索失败减少 49%，配合重排序则减少 67%。

下面的示意代码展示了一种做法：让大模型（LLM）读包含该分块的文档，再写出这段上下文。

```python
# 示意代码：llm() 和 search() 是占位函数，请换成你实际使用的客户端
def contextualize(doc_text, chunk_text, llm):
    prompt = (
        "文档：\n" + doc_text + "\n\n"
        "需要补充上下文的段落：\n" + chunk_text + "\n\n"
        "用 1-2 句简短的话说明这段文字属于哪份文档、"
        "涉及哪个单位、哪个时期。只返回上下文。"
    )
    context = llm(prompt)  # 通常约 50-100 token
    return context + "\n\n" + chunk_text  # 对这个字符串做向量化和 BM25 索引

def hit_rate(test_set, search, k=5):
    hits = 0
    for q in test_set:  # 每个 q 包含 "question" 和 "gold_span"
        results = search(q["question"], k=k)
        hits += any(q["gold_span"] in r.text for r in results)
    return hits / len(test_set)
```

注意，`hit_rate` 检查的是正确段落是否出现在结果中，而不是比较分块 ID。这样同一套测试集可以用于所有分块配置。成本也不必太担心：借助提示词缓存，Anthropic 估计每百万文档 token 约 1.02 美元，前提是分块 800 token、文档 8,000 token。

上下文不只是文字说明。Microsoft 建议，描述被拆到多个分块的表格或图片时，要把图片 URL 附到每个分块上，让元数据跟着每一个用到它的答案走。文件名、页码和章节标题也应该同样随每个分块一起保存。

## 再测一次：示例的最后一轮

回到那家保险公司。你保留 200 token、重叠 50 token 的配置，给每个分块加上上下文，再用完全相同的 40 个问题跑一遍。这里的数字同样只是示意：假设结果升到 35/40，命中率 87.5%，之前是 31/40。

关键在于用同样的问题、同样的指标比较。如果中途换了测试集，就分不清提升来自上下文还是来自更简单的问题。这张“之前”和“之后”两行的表，也正是你建议客户开启该功能时要交给对方的材料。

## 常见错误

最常见的错误是自己写测试问题。工程师的问题往往照搬文档原文的措辞，命中率因此虚高。真实用户的问题更短、更模糊，还夹杂大量内部术语。

第二个错误是测一次就停。客户每新增一种文档类型，比如从合同扩展到会议纪要，测试集都要补充这类文档的问题。第三个错误是把表格当纯文本切：一行数字一旦和列标题分开，几乎就没有意义了。

最后一个错误是跳过语料规模检查。已经有不少复杂的管道，是为一套本可以塞进单个提示词的文档搭建的。

## 雇主在哪里看这项技能？

在 FDE 或 AI 工程师岗位的职位描述里，留意“retrieval quality”“evaluation”“RAG pipeline”“document ingestion”这类说法。它们说明这份工作恰好需要本文讲的能力。

简历上，一句带测量数据的话远比“搭建了 RAG 系统”有说服力。例如：“基于用户查询建立 40 个问题的测试集，比较 3 种分块配置，通过重叠和分块上下文将 hit rate@5 从 X 提升到 Y”。

面试时，要准备好解释所选配置背后的取舍：重叠能提高召回率，但会降低 IoU、让索引膨胀；800 token 的分块很少把答案切断，但搜索精确度较低。面试官想听到的是，你清楚自己为这个数字付出了什么。

客户永远不会问你用了多大的分块。他们只会记得系统报错了子公司营收的那一次，而能讲清楚原因的那个人，就是他们想留下的人。

**本周动手试试:**

- 找 20 份真实文档（或同类型的公开文档），写 30 个问题，每个问题配上包含答案的段落，然后测量三种分块配置的 hit rate@5。
- 选出最佳配置，给每个分块加 1-2 句上下文，再用完全相同的问题测一次。
- 把结果整理成一张小表，放进个人项目的 README，作为简历上的佐证。

## 信源

- [Introducing Contextual Retrieval (Anthropic)](https://www.anthropic.com/news/contextual-retrieval)

- [Evaluating Chunking Strategies for Retrieval (Chroma Technical Report)](https://www.trychroma.com/research/evaluating-chunking)

- [Chunking Strategies for LLM Applications (Pinecone)](https://www.pinecone.io/learn/chunking-strategies/)

- [Develop a RAG Solution on Azure - Chunking Phase - Azure Architecture Center](https://learn.microsoft.com/en-us/azure/architecture/ai-ml/guide/rag/rag-chunking-phase)
