# RAG 演示一切顺利，直到财务总监开口提问

> 错误码要靠关键词检索，汇总数字要靠 SQL，先给客户的问题分类，再去挑向量数据库。

原文: https://fdetimes.net/zh/guides/classify-questions-before-building-rag/

驻场第二周，你的 RAG 演示系统回答产品文档相关的问题对答如流。接着，客服负责人输入“TS-999 是什么意思？”，财务总监又要按地区查看上个月的营收。系统对两个问题都答得信心十足，结果都答错了。

这种场景并不少见。一位做过结构化数据问答系统的工程师解释说，朴素 RAG 之所以在生产环境中出问题，是因为企业问题很少只是简单查找。演示用的问题往往全是查找类，真实用户却不会这样提问。

所以，前线部署工程师（FDE）在这里要具备的能力，并不是挑出最好的向量数据库，而是先给客户的问题分类，再为每一类选择处理路径。这是一项架构决策，总部的工程师很难独自做出，因为他们手里没有真实问题清单。

## 三类问题，需要三种不同的工具

第一类问题包含精确编码。Anthropic 在介绍上下文检索（contextual retrieval）时举过一个例子：嵌入模型可能找到泛泛讨论错误码的内容，却漏掉恰好包含“TS-999”的那段文字。BM25 按词元逐一匹配，因此最擅长处理 SKU、错误码、版本号、人名和监管文件编号。

这一长处也是它的短板。BM25 比较的是词元，并不理解语义。如果客户问“为什么我的账号被锁了”，而文档里写的是“lockout policy”，BM25 几乎找不到有用的内容。这类问题需要向量检索，它比较的是语义，而不是单个词。

第三类问题最危险：汇总类问题，比如“多少”“总计”“按月”。任何文档片段里都没有现成的答案，所以不管检索做得多好，模型也只能把分散在各个分块里的几个数字在“脑子里”加一加。这位工程师建议，汇总类问题通常应当经过一个执行 SQL 的步骤。

| 问题类型 | 如何识别 | 工具 | 用错工具会怎样 |
|---|---|---|---|
| 精确编码查找 | 包含错误码、SKU、版本号或专有名称 | BM25（常与向量检索结合） | 向量检索返回“看起来相似”的文档，而不是那个确切编码 |
| 语义查找 | 客户的用词与文档不同 | 向量检索 | BM25 什么也找不到，或者找到不相关的内容 |
| 汇总数字 | “多少”“总计”“按地区”“排名前几” | Text-to-SQL | RAG 编出一个看似合理的数字 |

## 用 200 个问题算一笔账

假设你从一家软件公司的工单系统中导出 200 个真实问题，花一个下午做标注。一个假设的结果是：90 个语义查找问题，60 个包含标识符，50 个询问汇总数字。

如果 200 个问题全部送进同一条向量检索管道，最后那 50 个（占流量的四分之一）在设计上就注定失败，根本轮不到嵌入质量发挥作用。

第一版路由器不需要多复杂。简单规则成本低，易于调试，也容易向客户解释。只是要记得按单词边界匹配：直接做子串匹配，“top”就会误匹配到“laptop”或“stop”。

```python
import re

# 标识符模式：TS-999、SKU-1042、v2.3……
IDENTIFIER = re.compile(r"\b[A-Z]{2,}-\d+\b|\bv\d+\.\d+")
# \b 保留单词边界，避免 "top" 匹配到 "laptop" 或 "stop"
AGGREGATE_TERMS = re.compile(
    r"\b(how many|total|average|by month|by region|top)\b",
    re.IGNORECASE,
)

def route(question: str) -> str:
    if AGGREGATE_TERMS.search(question):
        return "sql"
    if IDENTIFIER.search(question):
        return "hybrid"  # BM25 保住精确编码，向量检索覆盖语义
    return "vector"
```

之后可以用基于 LLM 的分类器替换这些规则。但要保留这 200 个已标注的问题：它们是衡量路由器的评测集，也是客户问起“为什么架构要分三个分支”时你手里最有力的证据。

## 按排名合并结果，而不是按分数

混合检索分支需要把两份结果列表合在一起。BM25 分数和余弦相似度不在同一个量纲上，直接相加是错的。倒数排名融合（Reciprocal Rank Fusion，RRF）能解决这个问题，因为它只用排名，不用原始分数。

公式是：一篇文档的得分，等于它在每份列表中 1/(k + 排名) 之和，其中 k 是平滑常数。取 k = 60 试算：文档 A 在 BM25 中排第一，在向量检索中排第五，得分为 1/61 + 1/65 ≈ 0.0318。

文档 B 在向量检索中排第一，但没有出现在 BM25 结果里，得分只有 1/61 ≈ 0.0164。同时出现在两份列表中的文档会被推到前面，这正是想要的效果。

Anthropic 也公布过关键词与向量结合的数据，不过其管道的环节比普通混合检索更多。将上下文嵌入与上下文 BM25 结合，检索失败率降低了 49%；再加上重排序步骤，降低了 67%。前 20 个分块的失败率从 5.7% 降到了 1.9%。

但不要把混合检索奉为圭臬。在 WANDS 电商基准上，Denser 的一篇文章发现，BM25 与纯稠密检索之间没有统计学上的显著差异（0.6983 对 0.6953）。

得分最高的混合版本，是通过提高商品名称权重调优出来的。别人数据上的结果，代替不了在客户数据上的实测。

**要点:** 合适的系统始于一份真实问题清单，而不是一个向量数据库。

## 能跑通的 SQL，也可能返回错误的数字

在 Text-to-SQL 分支上，实践中有一个值得关注的结果，也伴随着一个陷阱。一位工程师报告称，将感知 schema 的检索与 SQL 执行结合后，结构化报表类问题的准确率从约 40% 提升到约 75–80%。

这是单一来源的内部评测，只能当作信号，不能当作基准。

这位工程师描述的那个错误值得记住：指标要求按记账日期统计，模型却用了发票创建日期。SQL 合法，运行无误，给出一个干净利落的数字，而这个数字是错的。任何语法检查都发现不了。

所以，生成的 SQL 在交给用户之前必须经过一层校验：是否只用了允许的表？是否包含所有必需的过滤条件？业务定义可以写成规则。

下面的代码只是演示思路的草图，并非生产可用的校验器。它扫描的是原始字符串，所以一条包含 posting_date 字样的注释就能蒙混过关；真正的实现应先把 SQL 解析成语法树再做检查。

```python
ALLOWED_TABLES = {"invoices", "regions"}

def check_sql(sql: str, tables_used: set[str], metric: str) -> list[str]:
    errors = []
    if not tables_used <= ALLOWED_TABLES:
        errors.append(f"使用了允许列表之外的表：{tables_used - ALLOWED_TABLES}")
    if metric == "revenue" and "posting_date" not in sql:
        errors.append("营收必须按 posting_date 过滤，而不是 created_at")
    if "status" not in sql:
        errors.append("缺少必需的 status 过滤条件")
    return errors
```

规则本身很简单，难的是拿到定义。在客户现场，去问负责财务的人：“本月营收按哪个日期算？”这个答案就是你要写的第一条校验规则。

## 四个常见错误

最常见的错误是：因为演示效果好，就把所有问题都送进同一条向量检索管道，到了生产环境才发现一整类汇总问题根本答不对。其次是只因为 SQL 能跑就信任它，以及用相加而不是按排名的方式合并 BM25 和向量检索分数。

最后一个错误更隐蔽：只报告一个总体准确率。如果评测集里 90% 是语义查找问题，系统可以交出一个漂亮的分数，而 SQL 分支却答错一半。要按问题类型分别评测。

## 本周练习，以及怎么写进简历

取 50 个真实问题，按三种类型标注，用上面的路由器跑一遍，记录每个分支的准确率表。简历上不要写“搭建了 RAG 系统”。

可以这样写：“对 200 个真实客户问题做了分类，拆分出带业务定义校验的 Text-to-SQL 分支，并按问题类型分别评测准确率”。这样一句话说明你懂得衡量，而不只是会拼装库。

检索库会不断变化。在写第一行代码之前先问一句“客户实际会问什么？”，这个习惯不会过时。

**本周动手试试:**

- 从客户的工单或聊天渠道（或自己团队的）导出 50 个真实问题，并标注为：精确编码、语义查找、汇总数字。
- 把同一组问题分别送入 BM25、向量检索和 RRF 混合检索，按类型分别记录命中率。
- 写一个 SQL 校验函数，包含允许表列表和一个必需的过滤条件，再用三条故意写错的查询测试它。

## 信源

- [Introducing Contextual Retrieval (Anthropic)](https://www.anthropic.com/engineering/contextual-retrieval)

- [RAG patterns that work for structured data vs ones that fail](https://dev.to/zeeshan_ghazanfar_97/rag-patterns-that-work-for-structured-data-vs-ones-that-fail-2pka)

- [Hybrid Search for RAG: Combining BM25 and Dense Vector Search (2026 Guide)](https://denser.ai/blog/hybrid-search-for-rag/)
