# 做 RAG 之前先数 token，你可能根本用不上它

> Anthropic 建议 20 万 token 以内整库放进提示词；超过这个规模，先测 Recall@k，再怪模型。

原文: https://fdetimes.net/zh/guides/count-tokens-before-building-rag/

客户发来一个文件夹，里面有操作规程、保修政策和几份 FAQ，要一个能回答员工提问的聊天机器人。很多工程师的第一反应如出一辙：打开向量数据库文档，挑嵌入模型，开始争论分块大小。

两周后，演示时一个非常基础的问题答错了，团队里没人知道问题出在哪。

这种情况很常见，因为大家跳过了两个成本最低的问题：这批语料真的需要 RAG 吗？如果需要，检索环节找到正确的片段了吗？对前线部署工程师（FDE）来说，第一天就回答这两个问题，可能省下几周的工作。

## 选架构之前，先数 token

2024 年，Anthropic 在推出 Contextual Retrieval 时给出了一个非常实用的阈值：如果知识库小于 20 万 token，大约 500 页，就把它整个放进提示词，不需要检索增强生成（RAG）或任何类似方案。这是 2024 年的数字，如今这个阈值要高得多。

让这种做法可行的是提示词缓存。Anthropic 表示，缓存能把延迟降低一半以上，成本最多降低 90%。Claude 当前文档写明，从缓存读取的 token 按基础输入价格的 0.1 倍计费，个别模型有例外。

如果数百名员工针对同一批文档不停提问，最贵的那部分只需付一次。

根据官方文档，较新的 Claude 模型上下文窗口为 100 万 token，约合 55.5 万个英文单词。所以不必死记这些数字，要学会针对客户实际使用的模型和价目表重新核对。

## 把全部内容放进提示词，同样要测

长上下文仍有质量代价，只是不会体现在账单上。“Lost in the Middle”研究（2023）发现，相关信息在提示词中的位置一变，性能可能明显下降。一条埋在 400 页中间的保修条款可能被漏掉，尽管模型“看得见”它。

所以真正的规则是始终要测，而不是“500 页以内就安全”。如果把全部语料放进提示词，就在一组已知答案的问题上测回答质量。用 RAG 的话，还要单独多测一层：检索。

**要点:** 数 token，决定要不要做 RAG；测 Recall@k，判断 RAG 有没有找到正确的片段。

## 有了 RAG，问题通常出在检索

Hamel Husain 的 evals-skills 合集里有一份非常清晰的 evaluate-rag 指南：先确定问题出在检索、生成还是两者都有，然后先修检索。道理很简单：如果包含答案的片段根本没进入提示词，再怎么调提示词也没用。

Jason Liu 说得更直接：始终用精确率和召回率衡量检索，尤其是召回率，因为漏掉关键片段是致命的。Husain 的指南也把 Recall@k 列为第一轮检索评测最重要的指标。Recall@k 只回答一个问题：返回的 k 个结果里，有没有正确的片段？

Anthropic 报告结果时也是这个思路。它没有去展示答案变得多好，而是衡量前 20 个分块中的检索失败率。把上下文嵌入与上下文 BM25 结合，这一比率降低 49%；再加上重排序，降低 67%。这些数字只衡量检索环节，不代表最终答案的质量。

## 示例：在保修文档上测 Recall@k

假设客户的语料太大，放不进上下文窗口，所以已经切成了分块。手头还没有真实提问的日志。Jason Liu 给出了一个起步办法：让 LLM 为每个分块生成 5 个它能回答的问题，再检查系统能否检索回同一个分块。

生成数据的提示词可以很短：“以下是一段保修文档。请写出 5 个客服人员可能会问、且只有这段内容能回答的问题。”每个问题都与其来源 `chunk_id` 一起保存。之后，评测只需几行代码：

```python
def recall_at_k(eval_set, search, k):
    hits = 0
    for item in eval_set:
        results = search(item["question"], k=k)
        if item["chunk_id"] in [r.id for r in results]:
            hits += 1
    return hits / len(eval_set)

for k in (5, 10, 20):
    print(k, recall_at_k(eval_set, bm25_search, k))
```

k 分别取 5、10 和 20 各跑一遍，因为 k 是要测出来的参数，不是猜出来的。Anthropic 发现，把前 20 个分块交给模型，效果好于前 10 个或前 5 个。这一发现说的是给模型多少个分块来生成答案，而 Recall@k 只衡量正确分块是否在 k 个结果之中。

两个数字回答的是不同问题；在客户的数据上，k 取多少合适，只有评测集说了算。

注意 `bm25_search` 这一行：从全文检索起步。2024 年，Jason Liu 在一组文章上测试发现，全文检索和嵌入的质量几乎相同，但全文检索快约 10 倍。简单的基线能为之后每一次改进提供对照。

## 每个客户都能复用的流程

先统计整个语料的 token 数，与模型的上下文窗口和缓存价格对比。放得下，就全部放进提示词，开启缓存，测回答质量。放不下，就构建问题–分块集，跑 BM25 基线，记下 Recall@k。

当检索成为瓶颈时，Husain 的指南建议先用网格搜索优化分块，再调整生成。尝试几种分块大小和重叠长度，每种配置都重新测 Recall@k。

如果召回率仍然不够好，合乎逻辑的下一步是混合检索和重排序，因为 Anthropic 正是靠这两项改动，把检索失败率先降低 49%、再降低 67%。只有召回率站稳之后，才轮到提示词和模型。

## 让 RAG 项目跑偏的几个错误

最常见的错误是只看最终答案。演示失败时，团队改提示词、换模型、加指令，而包含答案的片段根本没放进上下文。第二个错误是凭感觉选 k，通常是 5，因为“听起来整齐”。

第三个错误是为几百页甚至更少的语料做 RAG，背上分块管道、索引和数据同步的额外负担，而一个带缓存的提示词本就够用。反过来的错误同样危险：以为有了 100 万 token 的窗口就不用测，忘了信息的位置仍会影响准确率。

阅读 FDE 或 AI 工程师的岗位描述时，留意“evaluation”“retrieval quality”“RAG in production”这类表述。简历上写“搭建了 RAG 聊天机器人”说明不了多少；写“构建问题–分块评测集，通过调整分块把 Recall@20 从 X 提升到 Y”，才能说明你懂得度量。

客户不关心你用哪个向量数据库。他们需要确认：员工问起一条保修条款时，系统能找到正确的那一页。好的 FDE 会用一个测出来的数字回答这个问题。

**本周动手试试:**

- 拿一份手头正在处理的真实文档集，统计总 token 数，与所用模型的上下文窗口对比
- 随机抽 20 个分块，让 LLM 为每个分块生成 5 个问题，再以 BM25 为基线测 Recall@5、@10 和 @20
- 在简历上写一条经历，说明你如何测量并提升 Recall@k，附上改进前后的数字

## 信源

- [Introducing Contextual Retrieval (Anthropic)](https://www.anthropic.com/news/contextual-retrieval)

- [Models overview (Claude Docs)](https://platform.claude.com/docs/en/models/overview)

- [Prompt caching (Claude Docs)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)

- [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172)

- [evaluate-rag — hamelsmu/evals-skills](https://www.skills.sh/hamelsmu/evals-skills/evaluate-rag)

- [Systematically Improving RAG Applications (Jason Liu)](https://jxnl.co/writing/2025/01/24/systematically-improving-rag-applications/)

- [Systematically Improving Your RAG (Jason Liu)](https://jxnl.co/writing/2024/05/22/systematically-improving-your-rag/)
