做 RAG 之前先数 token,你可能根本用不上它
Anthropic 建议 20 万 token 以内整库放进提示词;超过这个规模,先测 Recall@k,再怪模型。
要点速览
- 2024 年 Anthropic 给出一个实用阈值:知识库不足 20 万 token(约 500 页)时,可以直接放进提示词,不需要 RAG。如今上下文窗口已达 100 万 token,这个阈值高得多。
- 长上下文仍有质量代价:信息在提示词中的位置会影响准确率。无论选哪种方案,都要测。
- 一旦做了 RAG,先在问题–分块集上测 Recall@k,修好检索之后再动提示词或模型。
客户发来一个文件夹,里面有操作规程、保修政策和几份 FAQ,要一个能回答员工提问的聊天机器人。很多工程师的第一反应如出一辙:打开向量数据库文档,挑嵌入模型,开始争论分块大小。
两周后,演示时一个非常基础的问题答错了,团队里没人知道问题出在哪。
这种情况很常见,因为大家跳过了两个成本最低的问题:这批语料真的需要 RAG 吗?如果需要,检索环节找到正确的片段了吗?对前线部署工程师(FDE)来说,第一天就回答这两个问题,可能省下几周的工作。
选架构之前,先数 token
2024 年,Anthropic 在推出 Contextual Retrieval 时给出了一个非常实用的阈值:如果知识库小于 20 万 token,大约 500 页,就把它整个放进提示词,不需要检索增强生成(RAG)或任何类似方案。这是 2024 年的数字,如今这个阈值要高得多。
让这种做法可行的是提示词缓存。Anthropic 表示,缓存能把延迟降低一半以上,成本最多降低 90%。Claude 当前文档写明,从缓存读取的 token 按基础输入价格的 0.1 倍计费,个别模型有例外。
如果数百名员工针对同一批文档不停提问,最贵的那部分只需付一次。
根据官方文档,较新的 Claude 模型上下文窗口为 100 万 token,约合 55.5 万个英文单词。所以不必死记这些数字,要学会针对客户实际使用的模型和价目表重新核对。
把全部内容放进提示词,同样要测
长上下文仍有质量代价,只是不会体现在账单上。“Lost in the Middle”研究(2023)发现,相关信息在提示词中的位置一变,性能可能明显下降。一条埋在 400 页中间的保修条款可能被漏掉,尽管模型“看得见”它。
所以真正的规则是始终要测,而不是“500 页以内就安全”。如果把全部语料放进提示词,就在一组已知答案的问题上测回答质量。用 RAG 的话,还要单独多测一层:检索。
有了 RAG,问题通常出在检索
Hamel Husain 的 evals-skills 合集里有一份非常清晰的 evaluate-rag 指南:先确定问题出在检索、生成还是两者都有,然后先修检索。道理很简单:如果包含答案的片段根本没进入提示词,再怎么调提示词也没用。
Jason Liu 说得更直接:始终用精确率和召回率衡量检索,尤其是召回率,因为漏掉关键片段是致命的。Husain 的指南也把 Recall@k 列为第一轮检索评测最重要的指标。Recall@k 只回答一个问题:返回的 k 个结果里,有没有正确的片段?
Anthropic 报告结果时也是这个思路。它没有去展示答案变得多好,而是衡量前 20 个分块中的检索失败率。把上下文嵌入与上下文 BM25 结合,这一比率降低 49%;再加上重排序,降低 67%。这些数字只衡量检索环节,不代表最终答案的质量。
示例:在保修文档上测 Recall@k
假设客户的语料太大,放不进上下文窗口,所以已经切成了分块。手头还没有真实提问的日志。Jason Liu 给出了一个起步办法:让 LLM 为每个分块生成 5 个它能回答的问题,再检查系统能否检索回同一个分块。
生成数据的提示词可以很短:“以下是一段保修文档。请写出 5 个客服人员可能会问、且只有这段内容能回答的问题。”每个问题都与其来源 chunk_id 一起保存。之后,评测只需几行代码:
def recall_at_k(eval_set, search, k):
hits = 0
for item in eval_set:
results = search(item["question"], k=k)
if item["chunk_id"] in [r.id for r in results]:
hits += 1
return hits / len(eval_set)
for k in (5, 10, 20):
print(k, recall_at_k(eval_set, bm25_search, k))
k 分别取 5、10 和 20 各跑一遍,因为 k 是要测出来的参数,不是猜出来的。Anthropic 发现,把前 20 个分块交给模型,效果好于前 10 个或前 5 个。这一发现说的是给模型多少个分块来生成答案,而 Recall@k 只衡量正确分块是否在 k 个结果之中。
两个数字回答的是不同问题;在客户的数据上,k 取多少合适,只有评测集说了算。
注意 bm25_search 这一行:从全文检索起步。2024 年,Jason Liu 在一组文章上测试发现,全文检索和嵌入的质量几乎相同,但全文检索快约 10 倍。简单的基线能为之后每一次改进提供对照。
每个客户都能复用的流程
先统计整个语料的 token 数,与模型的上下文窗口和缓存价格对比。放得下,就全部放进提示词,开启缓存,测回答质量。放不下,就构建问题–分块集,跑 BM25 基线,记下 Recall@k。
当检索成为瓶颈时,Husain 的指南建议先用网格搜索优化分块,再调整生成。尝试几种分块大小和重叠长度,每种配置都重新测 Recall@k。
如果召回率仍然不够好,合乎逻辑的下一步是混合检索和重排序,因为 Anthropic 正是靠这两项改动,把检索失败率先降低 49%、再降低 67%。只有召回率站稳之后,才轮到提示词和模型。
让 RAG 项目跑偏的几个错误
最常见的错误是只看最终答案。演示失败时,团队改提示词、换模型、加指令,而包含答案的片段根本没放进上下文。第二个错误是凭感觉选 k,通常是 5,因为“听起来整齐”。
第三个错误是为几百页甚至更少的语料做 RAG,背上分块管道、索引和数据同步的额外负担,而一个带缓存的提示词本就够用。反过来的错误同样危险:以为有了 100 万 token 的窗口就不用测,忘了信息的位置仍会影响准确率。
阅读 FDE 或 AI 工程师的岗位描述时,留意“evaluation”“retrieval quality”“RAG in production”这类表述。简历上写“搭建了 RAG 聊天机器人”说明不了多少;写“构建问题–分块评测集,通过调整分块把 Recall@20 从 X 提升到 Y”,才能说明你懂得度量。
客户不关心你用哪个向量数据库。他们需要确认:员工问起一条保修条款时,系统能找到正确的那一页。好的 FDE 会用一个测出来的数字回答这个问题。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Introducing Contextual Retrieval (Anthropic) · 2024-09-19
- Models overview (Claude Docs)
- Prompt caching (Claude Docs)
- Lost in the Middle: How Language Models Use Long Contexts · 2023-07-06
- evaluate-rag — hamelsmu/evals-skills
- Systematically Improving RAG Applications (Jason Liu) · 2025-01-24
- Systematically Improving Your RAG (Jason Liu) · 2024-05-22