向量检索分不清相近编号,BM25 可以
Anthropic 测试中,混合检索让检索失败减少 49%,加上重排序减少 67%,用自己的数据验证一遍。
要点速览
- 向量检索按语义匹配,经常漏掉精确编号;BM25 按字符串匹配,能抓住它们。两者缺一不可。
- RRF 按排名合并两份列表,无需调权重;重排序再筛一遍,只把最相关的文本块交给模型。
- 在 Anthropic 的数据上,混合检索让检索失败减少 49%,加上重排序减少 67%。面对客户,要用自己的评测集重新测量。
企业法务团队的一名律师问公司的聊天机器人:“合同 HD-2024-0153 的违约金条款是什么?”检索增强生成(RAG)系统回答得很流畅,但答案出自合同 HD-2024-0135。这两个字符串在语义上几乎一样,embedding 没有理由把它们区分开。
这个场景是假设的,但在编号密集的文档库里,这类失败很常见。Anthropic 也举过同类例子:用户在技术支持数据库中搜索“Error code TS-999”。
据 Anthropic 介绍,BM25 对包含唯一标识符或技术术语的查询特别有效,因为它会在文档中查找完全相同的文本串。
在 Anthropic 的数据集上,embedding 与 BM25 结合后,top 20 文本块中的检索失败减少了 49%;再加上重排序,减少了 67%。本指南介绍如何搭建这条管道,并在自己的数据上测出对应的数字。
要搭建什么,需要准备什么
管道共五个阶段:查询并行进入关键词检索器和向量检索器,两份列表用倒数排名融合(RRF)合并,结果经过重排序,最后才交给大模型(LLM)。你需要 Python 3、一组 {chunk_id: text} 形式的文本块,以及可用的 embedding 和重排序服务。下文示例以 Cohere 为准。
这里的关键词检索代码为教学做了简化。生产环境请使用 Elasticsearch 或 Weaviate 内置的 BM25。
第 1 步:写代码之前先建基准
没有测量,就无法向客户证明任何改进。收集包含编号的真实问题,把每个问题关联到正确的文本块,然后统计正确文本块没有进入 top 20 的问题占比。这也是 Anthropic 使用的指标。
def failure_rate(evalset, retrieve, top_n=20):
miss = sum(1 for q, gold in evalset
if gold not in retrieve(q)[:top_n])
return miss / len(evalset)
**检查:**用这个函数跑一遍当前的向量检索管道,记下结果。这就是你的基线。
第 2 步:分词器必须保留完整编号
关键词检索漏掉标识符,原因往往在分词器,而不在算法。如果“HD-2024-0153”被切成“hd”“2024”“0153”,“2024”这个词元会匹配上数百份其他合同,失去区分作用。
import re
TOKEN = re.compile(r"\w+(?:[-/]\w+)*")
def tokenize(text):
return [t.lower() for t in TOKEN.findall(text)]
tokenize("Contract HD-2024-0153 signed on")
# ['contract', 'hd-2024-0153', 'signed', 'on']
**检查:**从客户数据中取 20 个真实编号,打印分词结果。每个编号都必须恰好是一个词元。
第 3 步:关键词检索器(简化版)
下面的函数只统计查询词元在每个文本块中出现的次数。它没有真正 BM25 的逆文档频率(IDF)加权和长度归一化,但足以说明字符串匹配如何抓住编号。
from collections import Counter
def keyword_search(query, chunks, top_n=20):
q = set(tokenize(query))
scored = []
for cid, text in chunks.items():
tf = Counter(tokenize(text))
score = sum(tf[t] for t in q)
if score:
scored.append((score, cid))
scored.sort(reverse=True)
return [cid for _, cid in scored[:top_n]]
**检查:**对包含 HD-2024-0153 的查询,该合同的文本块排名必须高于 HD-2024-0135 的文本块。HD-2024-0135 的文本块仍可能出现在列表中,因为这个简化函数也会给“penalty”“clause”“contract”这类共有词计分。如果两个文本块得分相同,回到第 2 步检查分词器。
第 4 步:向量检索器,以及一个常被遗忘的参数
Elastic 区分两类检索:关键词检索按词匹配,语义检索按问题的含义匹配。像“哪份合同的延期交货违约金最重”这样的问题,仍然需要向量检索。
一个常见错误出在 embedding 这一步:Cohere 文档要求查询用 input_type="search_query" 做向量化,而文档必须使用另一个专为文档保留的 input_type 值。
# 简化版:embed() 是你自己围绕 SDK 写的封装
q_vec = embed([query], input_type="search_query")
**检查:**在整个代码库中 grep 一遍,确认索引步骤和查询步骤没有共用同一个 input_type 值。
第 5 步:用 RRF 合并,无需调权重
Anthropic 的做法是用排名融合合并 embedding 和 BM25 的结果,并去除重复项。Elasticsearch 文档给出了 RRF 公式:在每份列表中,文档得分增加 1/(k + rank)。好处是不必为两个检索器寻找线性组合的权重。
def rrf(result_lists, k):
scores = {}
for results in result_lists:
for rank, cid in enumerate(results, start=1):
scores[cid] = scores.get(cid, 0.0) + 1.0 / (k + rank)
return sorted(scores, key=scores.get, reverse=True)
scores 字典本身就完成了去重。k 的取值参照你所用引擎文档的建议。
手算一个例子,k = 10 只是为了让数字好读。文本块 A 在关键词侧排第 1,在向量侧排第 8:1/11 + 1/18 ≈ 0.146。文本块 B 只在向量侧排第 1:1/11 ≈ 0.091。文本块 C 在两侧都排第 2:1/12 + 1/12 ≈ 0.167。
C 没有在任何一份列表中排第一,却胜出了。这正是 RRF 的特点:它奖励两个检索器都认可的文本块。
如果客户用的是 Weaviate,就不必自己写这个函数。Weaviate 有两种融合算法,其中 rankedFusion 只保留每个结果在各列表中的位置,丢弃分数。alpha 参数控制稠密与稀疏检索的权衡:0.5 表示两者均等,默认值为 0.75。
对于编号密集的查询集,用第 1 步的评测集试几个 alpha 值,不要直接沿用默认值。
第 6 步:重排序,结构化数据用 YAML
据 Anthropic 介绍,重排序是一种过滤技术,确保只有最相关的文本块传给模型。取 RRF 之后排名靠前的文本块,连同查询一起发给 Cohere Rerank,只保留前几个。Cohere 文档建议,包含结构化数据的文档应格式化为 YAML 字符串,以获得最佳效果。
# 简化版:未转义特殊字符
def to_yaml(rec):
return "\n".join(f"{k}: {v}" for k, v in rec.items())
to_yaml({"contract_number": "HD-2024-0153",
"seller": "...", "penalty_clause": "..."})
因此,对于从企业资源计划(ERP)系统导出的合同记录,应遵循这条建议:重排序前转成每行一个 key: value,而不是直接发送原始 JSON。
**检查:**对三种配置(向量、混合、混合 + 重排序)重新运行 failure_rate,把三个数字并排列成表。
看起来正确、实际出错的几种情况
第一种是分词器切碎了编号,见第 2 步。它不会抛出异常,只是结果变差。第二种是用查询专用的 input_type 给文档建索引,通常源于从实验 notebook 里复制代码。第三种是把结构化记录发给重排序模型,却忽略了 YAML 格式化的建议。
第四种出在汇报上。49% 和 67% 是 Anthropic 在自己数据上的结果,不是对客户数据的承诺。不要把它们当作你的成果写进幻灯片。展示第 1 步测出的数字。
这项技能在客户现场如何体现
与客户合作的第一周,首先要问的是:用户是否经常输入产品编号、合同编号或错误码,这些编号是什么格式。答案决定了分词器怎么写,这要排在讨论选哪个 embedding 模型之前。
在前线部署工程师(FDE)或 AI 工程师的岗位描述里,“retrieval quality”“hybrid search”“evaluation”这类说法指的正是这项技能。简历上不要写“搭建过 RAG”这种含糊的话。
应该这样写:“在 200 个合同编号查询组成的评测集上,通过混合检索和重排序,将 top-20 检索失败率从 X% 降至 Y%”,其中 X 和 Y 是你亲自测出的数字。
客户不会记得你用没用 RRF,也不会记得 alpha 设成多少。他们记得的,是聊天机器人第一次从正确的合同 HD-2024-0153 中给出答案。
这篇文章对你有帮助吗?
感谢你的反馈!