FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

向量检索分不清相近编号,BM25 可以

Anthropic 测试中,混合检索让检索失败减少 49%,加上重排序减少 67%,用自己的数据验证一遍。

分享微博

要点速览

  • 向量检索按语义匹配,经常漏掉精确编号;BM25 按字符串匹配,能抓住它们。两者缺一不可。
  • RRF 按排名合并两份列表,无需调权重;重排序再筛一遍,只把最相关的文本块交给模型。
  • 在 Anthropic 的数据上,混合检索让检索失败减少 49%,加上重排序减少 67%。面对客户,要用自己的评测集重新测量。
点图比较 k = 10 时三个文本块的 RRF 得分。文本块 C 在两份列表中都排第 2,得分 0.167,最高;文本块 A 在关键词列表排第 1、向量列表排第 8,得分 0.146;文本块 B 只在向量列表排第 1,得分 0.091。
RRF 只看排名:两个检索器都认可的文本块,会超过只在一份列表中排第一的文本块。来源:文中手算示例,RRF 公式 1/(k + rank) 取自 Elasticsearch 文档。

企业法务团队的一名律师问公司的聊天机器人:“合同 HD-2024-0153 的违约金条款是什么?”检索增强生成(RAG)系统回答得很流畅,但答案出自合同 HD-2024-0135。这两个字符串在语义上几乎一样,embedding 没有理由把它们区分开。

这个场景是假设的,但在编号密集的文档库里,这类失败很常见。Anthropic 也举过同类例子:用户在技术支持数据库中搜索“Error code TS-999”。

据 Anthropic 介绍,BM25 对包含唯一标识符或技术术语的查询特别有效,因为它会在文档中查找完全相同的文本串。

在 Anthropic 的数据集上,embedding 与 BM25 结合后,top 20 文本块中的检索失败减少了 49%;再加上重排序,减少了 67%。本指南介绍如何搭建这条管道,并在自己的数据上测出对应的数字。

要搭建什么,需要准备什么

管道共五个阶段:查询并行进入关键词检索器和向量检索器,两份列表用倒数排名融合(RRF)合并,结果经过重排序,最后才交给大模型(LLM)。你需要 Python 3、一组 {chunk_id: text} 形式的文本块,以及可用的 embedding 和重排序服务。下文示例以 Cohere 为准。

这里的关键词检索代码为教学做了简化。生产环境请使用 Elasticsearch 或 Weaviate 内置的 BM25。

第 1 步:写代码之前先建基准

没有测量,就无法向客户证明任何改进。收集包含编号的真实问题,把每个问题关联到正确的文本块,然后统计正确文本块没有进入 top 20 的问题占比。这也是 Anthropic 使用的指标。

def failure_rate(evalset, retrieve, top_n=20):
    miss = sum(1 for q, gold in evalset
               if gold not in retrieve(q)[:top_n])
    return miss / len(evalset)

**检查:**用这个函数跑一遍当前的向量检索管道,记下结果。这就是你的基线。

第 2 步:分词器必须保留完整编号

关键词检索漏掉标识符,原因往往在分词器,而不在算法。如果“HD-2024-0153”被切成“hd”“2024”“0153”,“2024”这个词元会匹配上数百份其他合同,失去区分作用。

import re
TOKEN = re.compile(r"\w+(?:[-/]\w+)*")

def tokenize(text):
    return [t.lower() for t in TOKEN.findall(text)]

tokenize("Contract HD-2024-0153 signed on")
# ['contract', 'hd-2024-0153', 'signed', 'on']

**检查:**从客户数据中取 20 个真实编号,打印分词结果。每个编号都必须恰好是一个词元。

第 3 步:关键词检索器(简化版)

下面的函数只统计查询词元在每个文本块中出现的次数。它没有真正 BM25 的逆文档频率(IDF)加权和长度归一化,但足以说明字符串匹配如何抓住编号。

from collections import Counter

def keyword_search(query, chunks, top_n=20):
    q = set(tokenize(query))
    scored = []
    for cid, text in chunks.items():
        tf = Counter(tokenize(text))
        score = sum(tf[t] for t in q)
        if score:
            scored.append((score, cid))
    scored.sort(reverse=True)
    return [cid for _, cid in scored[:top_n]]

**检查:**对包含 HD-2024-0153 的查询,该合同的文本块排名必须高于 HD-2024-0135 的文本块。HD-2024-0135 的文本块仍可能出现在列表中,因为这个简化函数也会给“penalty”“clause”“contract”这类共有词计分。如果两个文本块得分相同,回到第 2 步检查分词器。

第 4 步:向量检索器,以及一个常被遗忘的参数

Elastic 区分两类检索:关键词检索按词匹配,语义检索按问题的含义匹配。像“哪份合同的延期交货违约金最重”这样的问题,仍然需要向量检索。

一个常见错误出在 embedding 这一步:Cohere 文档要求查询用 input_type="search_query" 做向量化,而文档必须使用另一个专为文档保留的 input_type 值。

# 简化版:embed() 是你自己围绕 SDK 写的封装
q_vec = embed([query], input_type="search_query")

**检查:**在整个代码库中 grep 一遍,确认索引步骤和查询步骤没有共用同一个 input_type 值。

第 5 步:用 RRF 合并,无需调权重

Anthropic 的做法是用排名融合合并 embedding 和 BM25 的结果,并去除重复项。Elasticsearch 文档给出了 RRF 公式:在每份列表中,文档得分增加 1/(k + rank)。好处是不必为两个检索器寻找线性组合的权重。

def rrf(result_lists, k):
    scores = {}
    for results in result_lists:
        for rank, cid in enumerate(results, start=1):
            scores[cid] = scores.get(cid, 0.0) + 1.0 / (k + rank)
    return sorted(scores, key=scores.get, reverse=True)

scores 字典本身就完成了去重。k 的取值参照你所用引擎文档的建议。

手算一个例子,k = 10 只是为了让数字好读。文本块 A 在关键词侧排第 1,在向量侧排第 8:1/11 + 1/18 ≈ 0.146。文本块 B 只在向量侧排第 1:1/11 ≈ 0.091。文本块 C 在两侧都排第 2:1/12 + 1/12 ≈ 0.167。

C 没有在任何一份列表中排第一,却胜出了。这正是 RRF 的特点:它奖励两个检索器都认可的文本块。

如果客户用的是 Weaviate,就不必自己写这个函数。Weaviate 有两种融合算法,其中 rankedFusion 只保留每个结果在各列表中的位置,丢弃分数。alpha 参数控制稠密与稀疏检索的权衡:0.5 表示两者均等,默认值为 0.75。

对于编号密集的查询集,用第 1 步的评测集试几个 alpha 值,不要直接沿用默认值。

第 6 步:重排序,结构化数据用 YAML

据 Anthropic 介绍,重排序是一种过滤技术,确保只有最相关的文本块传给模型。取 RRF 之后排名靠前的文本块,连同查询一起发给 Cohere Rerank,只保留前几个。Cohere 文档建议,包含结构化数据的文档应格式化为 YAML 字符串,以获得最佳效果。

# 简化版:未转义特殊字符
def to_yaml(rec):
    return "\n".join(f"{k}: {v}" for k, v in rec.items())

to_yaml({"contract_number": "HD-2024-0153",
         "seller": "...", "penalty_clause": "..."})

因此,对于从企业资源计划(ERP)系统导出的合同记录,应遵循这条建议:重排序前转成每行一个 key: value,而不是直接发送原始 JSON。

**检查:**对三种配置(向量、混合、混合 + 重排序)重新运行 failure_rate,把三个数字并排列成表。

看起来正确、实际出错的几种情况

第一种是分词器切碎了编号,见第 2 步。它不会抛出异常,只是结果变差。第二种是用查询专用的 input_type 给文档建索引,通常源于从实验 notebook 里复制代码。第三种是把结构化记录发给重排序模型,却忽略了 YAML 格式化的建议。

第四种出在汇报上。49% 和 67% 是 Anthropic 在自己数据上的结果,不是对客户数据的承诺。不要把它们当作你的成果写进幻灯片。展示第 1 步测出的数字。

这项技能在客户现场如何体现

与客户合作的第一周,首先要问的是:用户是否经常输入产品编号、合同编号或错误码,这些编号是什么格式。答案决定了分词器怎么写,这要排在讨论选哪个 embedding 模型之前。

在前线部署工程师(FDE)或 AI 工程师的岗位描述里,“retrieval quality”“hybrid search”“evaluation”这类说法指的正是这项技能。简历上不要写“搭建过 RAG”这种含糊的话。

应该这样写:“在 200 个合同编号查询组成的评测集上,通过混合检索和重排序,将 top-20 检索失败率从 X% 降至 Y%”,其中 X 和 Y 是你亲自测出的数字。

客户不会记得你用没用 RRF,也不会记得 alpha 设成多少。他们记得的,是聊天机器人第一次从正确的合同 HD-2024-0153 中给出答案。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 3: AI 应用选越南语嵌入模型,别看排行榜,用客户的 50 个问题测微调模型在法律文本上 Accuracy@1 从 0.5682 升到 0.7274,换成保险公司的文档,必须实测才知道。