# 向量检索分不清相近编号，BM25 可以

> Anthropic 测试中，混合检索让检索失败减少 49%，加上重排序减少 67%，用自己的数据验证一遍。

原文: https://fdetimes.net/zh/guides/hybrid-search-rerank-rag-exact-identifiers/

企业法务团队的一名律师问公司的聊天机器人：“合同 HD-2024-0153 的违约金条款是什么？”检索增强生成（RAG）系统回答得很流畅，但答案出自合同 HD-2024-0135。这两个字符串在语义上几乎一样，embedding 没有理由把它们区分开。

这个场景是假设的，但在编号密集的文档库里，这类失败很常见。Anthropic 也举过同类例子：用户在技术支持数据库中搜索“Error code TS-999”。

据 Anthropic 介绍，BM25 对包含唯一标识符或技术术语的查询特别有效，因为它会在文档中查找完全相同的文本串。

在 Anthropic 的数据集上，embedding 与 BM25 结合后，top 20 文本块中的检索失败减少了 49%；再加上重排序，减少了 67%。本指南介绍如何搭建这条管道，并在自己的数据上测出对应的数字。

## 要搭建什么，需要准备什么

管道共五个阶段：查询并行进入关键词检索器和向量检索器，两份列表用倒数排名融合（RRF）合并，结果经过重排序，最后才交给大模型（LLM）。你需要 Python 3、一组 `{chunk_id: text}` 形式的文本块，以及可用的 embedding 和重排序服务。下文示例以 Cohere 为准。

这里的关键词检索代码为教学做了**简化**。生产环境请使用 Elasticsearch 或 Weaviate 内置的 BM25。

## 第 1 步：写代码之前先建基准

没有测量，就无法向客户证明任何改进。收集包含编号的真实问题，把每个问题关联到正确的文本块，然后统计正确文本块没有进入 top 20 的问题占比。这也是 Anthropic 使用的指标。

```python
def failure_rate(evalset, retrieve, top_n=20):
    miss = sum(1 for q, gold in evalset
               if gold not in retrieve(q)[:top_n])
    return miss / len(evalset)
```

**检查：**用这个函数跑一遍当前的向量检索管道，记下结果。这就是你的基线。

## 第 2 步：分词器必须保留完整编号

关键词检索漏掉标识符，原因往往在分词器，而不在算法。如果“HD-2024-0153”被切成“hd”“2024”“0153”，“2024”这个词元会匹配上数百份其他合同，失去区分作用。

```python
import re
TOKEN = re.compile(r"\w+(?:[-/]\w+)*")

def tokenize(text):
    return [t.lower() for t in TOKEN.findall(text)]

tokenize("Contract HD-2024-0153 signed on")
# ['contract', 'hd-2024-0153', 'signed', 'on']
```

**检查：**从客户数据中取 20 个真实编号，打印分词结果。每个编号都必须恰好是一个词元。

## 第 3 步：关键词检索器（简化版）

下面的函数只统计查询词元在每个文本块中出现的次数。它没有真正 BM25 的逆文档频率（IDF）加权和长度归一化，但足以说明字符串匹配如何抓住编号。

```python
from collections import Counter

def keyword_search(query, chunks, top_n=20):
    q = set(tokenize(query))
    scored = []
    for cid, text in chunks.items():
        tf = Counter(tokenize(text))
        score = sum(tf[t] for t in q)
        if score:
            scored.append((score, cid))
    scored.sort(reverse=True)
    return [cid for _, cid in scored[:top_n]]
```

**检查：**对包含 HD-2024-0153 的查询，该合同的文本块排名必须高于 HD-2024-0135 的文本块。HD-2024-0135 的文本块仍可能出现在列表中，因为这个简化函数也会给“penalty”“clause”“contract”这类共有词计分。如果两个文本块得分相同，回到第 2 步检查分词器。

## 第 4 步：向量检索器，以及一个常被遗忘的参数

Elastic 区分两类检索：关键词检索按词匹配，语义检索按问题的含义匹配。像“哪份合同的延期交货违约金最重”这样的问题，仍然需要向量检索。

一个常见错误出在 embedding 这一步：Cohere 文档要求查询用 `input_type="search_query"` 做向量化，而文档必须使用另一个专为文档保留的 input_type 值。

```python
# 简化版：embed() 是你自己围绕 SDK 写的封装
q_vec = embed([query], input_type="search_query")
```

**检查：**在整个代码库中 grep 一遍，确认索引步骤和查询步骤没有共用同一个 input_type 值。

## 第 5 步：用 RRF 合并，无需调权重

Anthropic 的做法是用排名融合合并 embedding 和 BM25 的结果，并去除重复项。Elasticsearch 文档给出了 RRF 公式：在每份列表中，文档得分增加 `1/(k + rank)`。好处是不必为两个检索器寻找线性组合的权重。

```python
def rrf(result_lists, k):
    scores = {}
    for results in result_lists:
        for rank, cid in enumerate(results, start=1):
            scores[cid] = scores.get(cid, 0.0) + 1.0 / (k + rank)
    return sorted(scores, key=scores.get, reverse=True)
```

`scores` 字典本身就完成了去重。k 的取值参照你所用引擎文档的建议。

手算一个例子，k = 10 只是为了让数字好读。文本块 A 在关键词侧排第 1，在向量侧排第 8：1/11 + 1/18 ≈ 0.146。文本块 B 只在向量侧排第 1：1/11 ≈ 0.091。文本块 C 在两侧都排第 2：1/12 + 1/12 ≈ 0.167。

C 没有在任何一份列表中排第一，却胜出了。这正是 RRF 的特点：它奖励两个检索器都认可的文本块。

**要点:** RRF 只看排名，因此同时出现在两份列表中的文本块，通常能胜过只在一份列表中排第一的文本块。

如果客户用的是 Weaviate，就不必自己写这个函数。Weaviate 有两种融合算法，其中 rankedFusion 只保留每个结果在各列表中的位置，丢弃分数。alpha 参数控制稠密与稀疏检索的权衡：0.5 表示两者均等，默认值为 0.75。

对于编号密集的查询集，用第 1 步的评测集试几个 alpha 值，不要直接沿用默认值。

## 第 6 步：重排序，结构化数据用 YAML

据 Anthropic 介绍，重排序是一种过滤技术，确保只有最相关的文本块传给模型。取 RRF 之后排名靠前的文本块，连同查询一起发给 Cohere Rerank，只保留前几个。Cohere 文档建议，包含结构化数据的文档应格式化为 YAML 字符串，以获得最佳效果。

```python
# 简化版：未转义特殊字符
def to_yaml(rec):
    return "\n".join(f"{k}: {v}" for k, v in rec.items())

to_yaml({"contract_number": "HD-2024-0153",
         "seller": "...", "penalty_clause": "..."})
```

因此，对于从企业资源计划（ERP）系统导出的合同记录，应遵循这条建议：重排序前转成每行一个 `key: value`，而不是直接发送原始 JSON。

**检查：**对三种配置（向量、混合、混合 + 重排序）重新运行 `failure_rate`，把三个数字并排列成表。

## 看起来正确、实际出错的几种情况

第一种是分词器切碎了编号，见第 2 步。它不会抛出异常，只是结果变差。第二种是用查询专用的 input_type 给文档建索引，通常源于从实验 notebook 里复制代码。第三种是把结构化记录发给重排序模型，却忽略了 YAML 格式化的建议。

第四种出在汇报上。49% 和 67% 是 Anthropic 在自己数据上的结果，不是对客户数据的承诺。不要把它们当作你的成果写进幻灯片。展示第 1 步测出的数字。

## 这项技能在客户现场如何体现

与客户合作的第一周，首先要问的是：用户是否经常输入产品编号、合同编号或错误码，这些编号是什么格式。答案决定了分词器怎么写，这要排在讨论选哪个 embedding 模型之前。

在前线部署工程师（FDE）或 AI 工程师的岗位描述里，“retrieval quality”“hybrid search”“evaluation”这类说法指的正是这项技能。简历上不要写“搭建过 RAG”这种含糊的话。

应该这样写：“在 200 个合同编号查询组成的评测集上，通过混合检索和重排序，将 top-20 检索失败率从 X% 降至 Y%”，其中 X 和 Y 是你亲自测出的数字。

客户不会记得你用没用 RRF，也不会记得 alpha 设成多少。他们记得的，是聊天机器人第一次从正确的合同 HD-2024-0153 中给出答案。

**本周动手试试:**

- 取 30 个包含产品编号或合同编号的真实问题，把每个问题关联到正确的文本块，测出当前向量检索管道的 top-20 失败率
- 实现本指南中保留连字符的分词器和 rrf 函数，在同一评测集上重跑，比较两个数字
- 把 5 条合同记录转成 YAML 后试做重排序，检查正确的记录是否升到列表顶部

## 信源

- [Introducing Contextual Retrieval (Anthropic)](https://www.anthropic.com/news/contextual-retrieval)

- [Reciprocal rank fusion (Elasticsearch documentation)](https://www.elastic.co/docs/reference/elasticsearch/rest-apis/reciprocal-rank-fusion)

- [Hybrid Search Explained (Weaviate)](https://weaviate.io/blog/hybrid-search-explained)

- [What is Semantic Search? (Elastic)](https://www.elastic.co/what-is/semantic-search)

- [Introduction to Embeddings at Cohere](https://docs.cohere.com/docs/embeddings)

- [Rerank Overview (Cohere docs)](https://docs.cohere.com/docs/rerank-overview)
