RAG 演示一切顺利,直到财务总监开口提问
错误码要靠关键词检索,汇总数字要靠 SQL,先给客户的问题分类,再去挑向量数据库。
要点速览
- 朴素 RAG 在演示中表现不错,到了生产环境却会出问题,因为企业问题很少只是简单查找。
- 错误码、SKU 和版本号需要 BM25;措辞与文档不同的问题需要向量检索;汇总数字类问题需要 SQL。
- 能跑通的 SQL 也可能是错的。返回结果前,要检查允许的表、必需的过滤条件和正确的日期字段。
驻场第二周,你的 RAG 演示系统回答产品文档相关的问题对答如流。接着,客服负责人输入“TS-999 是什么意思?”,财务总监又要按地区查看上个月的营收。系统对两个问题都答得信心十足,结果都答错了。
这种场景并不少见。一位做过结构化数据问答系统的工程师解释说,朴素 RAG 之所以在生产环境中出问题,是因为企业问题很少只是简单查找。演示用的问题往往全是查找类,真实用户却不会这样提问。
所以,前线部署工程师(FDE)在这里要具备的能力,并不是挑出最好的向量数据库,而是先给客户的问题分类,再为每一类选择处理路径。这是一项架构决策,总部的工程师很难独自做出,因为他们手里没有真实问题清单。
三类问题,需要三种不同的工具
第一类问题包含精确编码。Anthropic 在介绍上下文检索(contextual retrieval)时举过一个例子:嵌入模型可能找到泛泛讨论错误码的内容,却漏掉恰好包含“TS-999”的那段文字。BM25 按词元逐一匹配,因此最擅长处理 SKU、错误码、版本号、人名和监管文件编号。
这一长处也是它的短板。BM25 比较的是词元,并不理解语义。如果客户问“为什么我的账号被锁了”,而文档里写的是“lockout policy”,BM25 几乎找不到有用的内容。这类问题需要向量检索,它比较的是语义,而不是单个词。
第三类问题最危险:汇总类问题,比如“多少”“总计”“按月”。任何文档片段里都没有现成的答案,所以不管检索做得多好,模型也只能把分散在各个分块里的几个数字在“脑子里”加一加。这位工程师建议,汇总类问题通常应当经过一个执行 SQL 的步骤。
| 问题类型 | 如何识别 | 工具 | 用错工具会怎样 |
|---|---|---|---|
| 精确编码查找 | 包含错误码、SKU、版本号或专有名称 | BM25(常与向量检索结合) | 向量检索返回“看起来相似”的文档,而不是那个确切编码 |
| 语义查找 | 客户的用词与文档不同 | 向量检索 | BM25 什么也找不到,或者找到不相关的内容 |
| 汇总数字 | “多少”“总计”“按地区”“排名前几” | Text-to-SQL | RAG 编出一个看似合理的数字 |
用 200 个问题算一笔账
假设你从一家软件公司的工单系统中导出 200 个真实问题,花一个下午做标注。一个假设的结果是:90 个语义查找问题,60 个包含标识符,50 个询问汇总数字。
如果 200 个问题全部送进同一条向量检索管道,最后那 50 个(占流量的四分之一)在设计上就注定失败,根本轮不到嵌入质量发挥作用。
第一版路由器不需要多复杂。简单规则成本低,易于调试,也容易向客户解释。只是要记得按单词边界匹配:直接做子串匹配,“top”就会误匹配到“laptop”或“stop”。
import re
# 标识符模式:TS-999、SKU-1042、v2.3……
IDENTIFIER = re.compile(r"\b[A-Z]{2,}-\d+\b|\bv\d+\.\d+")
# \b 保留单词边界,避免 "top" 匹配到 "laptop" 或 "stop"
AGGREGATE_TERMS = re.compile(
r"\b(how many|total|average|by month|by region|top)\b",
re.IGNORECASE,
)
def route(question: str) -> str:
if AGGREGATE_TERMS.search(question):
return "sql"
if IDENTIFIER.search(question):
return "hybrid" # BM25 保住精确编码,向量检索覆盖语义
return "vector"
之后可以用基于 LLM 的分类器替换这些规则。但要保留这 200 个已标注的问题:它们是衡量路由器的评测集,也是客户问起“为什么架构要分三个分支”时你手里最有力的证据。
按排名合并结果,而不是按分数
混合检索分支需要把两份结果列表合在一起。BM25 分数和余弦相似度不在同一个量纲上,直接相加是错的。倒数排名融合(Reciprocal Rank Fusion,RRF)能解决这个问题,因为它只用排名,不用原始分数。
公式是:一篇文档的得分,等于它在每份列表中 1/(k + 排名) 之和,其中 k 是平滑常数。取 k = 60 试算:文档 A 在 BM25 中排第一,在向量检索中排第五,得分为 1/61 + 1/65 ≈ 0.0318。
文档 B 在向量检索中排第一,但没有出现在 BM25 结果里,得分只有 1/61 ≈ 0.0164。同时出现在两份列表中的文档会被推到前面,这正是想要的效果。
Anthropic 也公布过关键词与向量结合的数据,不过其管道的环节比普通混合检索更多。将上下文嵌入与上下文 BM25 结合,检索失败率降低了 49%;再加上重排序步骤,降低了 67%。前 20 个分块的失败率从 5.7% 降到了 1.9%。
但不要把混合检索奉为圭臬。在 WANDS 电商基准上,Denser 的一篇文章发现,BM25 与纯稠密检索之间没有统计学上的显著差异(0.6983 对 0.6953)。
得分最高的混合版本,是通过提高商品名称权重调优出来的。别人数据上的结果,代替不了在客户数据上的实测。
能跑通的 SQL,也可能返回错误的数字
在 Text-to-SQL 分支上,实践中有一个值得关注的结果,也伴随着一个陷阱。一位工程师报告称,将感知 schema 的检索与 SQL 执行结合后,结构化报表类问题的准确率从约 40% 提升到约 75–80%。
这是单一来源的内部评测,只能当作信号,不能当作基准。
这位工程师描述的那个错误值得记住:指标要求按记账日期统计,模型却用了发票创建日期。SQL 合法,运行无误,给出一个干净利落的数字,而这个数字是错的。任何语法检查都发现不了。
所以,生成的 SQL 在交给用户之前必须经过一层校验:是否只用了允许的表?是否包含所有必需的过滤条件?业务定义可以写成规则。
下面的代码只是演示思路的草图,并非生产可用的校验器。它扫描的是原始字符串,所以一条包含 posting_date 字样的注释就能蒙混过关;真正的实现应先把 SQL 解析成语法树再做检查。
ALLOWED_TABLES = {"invoices", "regions"}
def check_sql(sql: str, tables_used: set[str], metric: str) -> list[str]:
errors = []
if not tables_used <= ALLOWED_TABLES:
errors.append(f"使用了允许列表之外的表:{tables_used - ALLOWED_TABLES}")
if metric == "revenue" and "posting_date" not in sql:
errors.append("营收必须按 posting_date 过滤,而不是 created_at")
if "status" not in sql:
errors.append("缺少必需的 status 过滤条件")
return errors
规则本身很简单,难的是拿到定义。在客户现场,去问负责财务的人:“本月营收按哪个日期算?”这个答案就是你要写的第一条校验规则。
四个常见错误
最常见的错误是:因为演示效果好,就把所有问题都送进同一条向量检索管道,到了生产环境才发现一整类汇总问题根本答不对。其次是只因为 SQL 能跑就信任它,以及用相加而不是按排名的方式合并 BM25 和向量检索分数。
最后一个错误更隐蔽:只报告一个总体准确率。如果评测集里 90% 是语义查找问题,系统可以交出一个漂亮的分数,而 SQL 分支却答错一半。要按问题类型分别评测。
本周练习,以及怎么写进简历
取 50 个真实问题,按三种类型标注,用上面的路由器跑一遍,记录每个分支的准确率表。简历上不要写“搭建了 RAG 系统”。
可以这样写:“对 200 个真实客户问题做了分类,拆分出带业务定义校验的 Text-to-SQL 分支,并按问题类型分别评测准确率”。这样一句话说明你懂得衡量,而不只是会拼装库。
检索库会不断变化。在写第一行代码之前先问一句“客户实际会问什么?”,这个习惯不会过时。
这篇文章对你有帮助吗?
感谢你的反馈!