让 RAG 智能体学会重新检索,而不是硬答
用“评分—改写”循环拦住似是而非的段落,再用 20 个有标准答案的真实问题检验效果。
要点速览
- 基础 RAG 把问题转成向量,在向量数据库里只匹配一次。Agentic RAG 把检索变成一个工具,由智能体决定是否调用。
- 评分器返回结构化输出,决定下一步走哪个分支。文档不相关时,系统不能据此作答,而要改写问题。
- 在客户部署中,这个循环需要重试上限、“证据不足”这样的退出方式,以及标注来源的答案。
LangGraph 的 Agentic RAG 教程里有一条听起来理所当然的规则:如果评分器判定检索到的文档不相关,图就不能基于这些上下文作答,而要改写问题、重新检索。
这条规则值得重视,因为它堵住了 RAG 编造内容最常见的一条路:模型拿到几段“差不多对”的文字,仍然硬着头皮用它们作答。对前线部署工程师(FDE)来说,这正是要赶在客户之前发现的错误。
本指南从一个简单的 RAG 管道出发,逐步搭建“决策、评分、改写”的循环。所有代码都是用纯 Python 写的简化示意。retrieve()、llm() 和 llm_structured() 需要自己接入向量库和模型,它们不属于任何库的 API。
要做什么,需要准备什么?
假设一个场景:一个回答公司人事制度问题的聊天机器人。员工问:“试用期员工有没有年假?”向量检索返回三段关于正式员工休假的文字。它们在语义上和问题非常接近,却回答不了这个问题。
需要准备三样东西:一个已灌入文档的向量库,一个能按 schema 返回 JSON 的模型,以及大约 20 个带正确答案的真实问题。三者中问题集最有价值,没有它就无从判断这个循环到底有没有用。
第 1 步:搭一个一次性检索的基线
AWS 这样描述基础 RAG:把问题转换成向量,在向量数据库中做匹配。匹配只做一次。
def simple_rag(question):
docs = retrieve(question) # 将问题向量化,只匹配一次
return llm(f"根据以下内容回答:\n{docs}\n\n问题:{question}")
**检查:**跑一遍 20 个问题,记下答对了几个。对试用期这个问题,基线很可能会拿正式员工的规定自信地作答。把这个数字留着,最后做对比。
第 2 步:让智能体决定是否检索
LangGraph 教程构建了一个检索智能体,由它自己决定什么时候查向量库、什么时候直接回答。检索成了一次工具调用,不再是固定步骤。
def decide(question):
v = llm_structured(
prompt=f"这个问题是否需要查阅内部文档?{question}",
schema={"need_search": "yes|no"},
)
return v["need_search"] == "yes"
检查:“谢谢”这类客套话应该直接进入回答分支,所有制度类问题都应该进入检索分支。如果智能体在制度问题上跳过了检索,先改好提示词再往下做。
第 3 步:编写返回结构化输出的评分器
这是整个设计的核心。在教程中,LangGraph 用一个路由函数给文档评分,这个函数调用的是带结构化输出 schema 的模型。原因很实际:代码需要读到明确的标签,没法解析“似乎比较相关”这样的句子。
GRADE_SCHEMA = {"relevant": "yes|no", "reason": "str"}
def grade(question, docs):
return llm_structured(
prompt=f"以下段落能否回答这个问题?\n{docs}\n\n问题:{question}",
schema=GRADE_SCHEMA,
)
reason 字段是这份示意代码里的一个设计选择:它告诉改写步骤,上一次检索错在哪里。
给证据评分也有学术依据。Corrective RAG(CRAG)论文加入了一个轻量级评估器,对针对某个问题检索到的文档整体质量打分,再根据它返回的置信度选择下一步检索动作。
**检查:**在试用期的例子里,评分器应返回 "no",理由大致是“文档只涉及正式员工”。如果评分器把所有结果都标成 "yes",说明评分提示词太宽松。
第 4 步:根据状态路由
LangGraph 使用条件边:运行时对当前状态执行一个函数,由它选出下一个节点。下面的纯 Python 版本做的是同一件事。
def route(state):
if state["grade"]["relevant"] == "yes":
return "generate"
if state["rewrites"] >= state["max_rewrites"]:
return "give_up"
return "rewrite"
give_up 分支同样是这份示意代码里的设计选择。没有它,遇到文档回答不了的问题,系统就会一直循环下去。
第 5 步:改写查询,闭合循环
改写函数接收评分器给出的失败理由:
def rewrite(question, reason):
return llm(f"改写这个问题,使检索效果更好。"
f"上一次检索失败的原因是:{reason}\n问题:{question}")
主函数先判断是否需要检索,再初始化状态:
def agentic_rag(question, max_rewrites=2):
if not decide(question):
return llm(question)
s = {"query": question, "rewrites": 0, "max_rewrites": max_rewrites}
return loop(question, s)
循环依次执行检索、评分和路由:
def loop(question, s):
while True:
s["docs"] = retrieve(s["query"])
s["grade"] = grade(question, s["docs"]) # 对照原始问题评分
nxt = route(s)
if nxt == "generate":
return answer_with_sources(question, s["docs"])
if nxt == "give_up":
return "文档中没有找到足够的证据来回答这个问题。"
s["query"] = rewrite(s["query"], s["grade"]["reason"])
s["rewrites"] += 1
注意一个细节:评分器始终对照原始问题打分,从不对照改写后的问题。改写只用于检索。这样可以防止循环悄悄滑向另一个更容易回答的问题。
**检查:**打印试用期问题的查询序列。第二次尝试应该生成类似“试用期员工的休假制度”这样的查询,这一次评分器应返回 "yes"。
第 6 步:带来源作答
AWS 把来源归属列为 RAG 的好处之一。既然已经在给证据评分,标注来源还能让用户自己核查评分器的判断。
def answer_with_sources(question, docs):
ctx = "\n".join(f"[{d['id']}] {d['text']}" for d in docs)
return llm(f"只使用下面的段落作答,每个要点后标注 [id]。\n{ctx}\n\n问题:{question}")
**检查:**重新跑一遍 20 个问题,与第 1 步的基线对比。除了答对的数量,还要统计两项:本该回答却拒答的问题,以及本该拒答却作答的问题。
最常见的错误有哪些?
第一,让评分器返回自由文本,再用正则去猜标签。演示时一切正常,遇到“是的,但不完全是”这样的回答就出错。第二,循环没有上限。遇到文档集之外的问题,模型成本不断攀升,却换不来任何结果。
第三种更难察觉:改写保留了关键词,却丢掉了限定条件。比如“试用期”一词消失了,问题又变回一个泛泛的问题。要发现这种情况,得逐条阅读每次改写的 trace,而不是只看最终答案。
Self-RAG 走的是另一条路:它训练模型本身,让模型只在需要时检索,并用特殊的反思 token 评判自己的输出。本指南中的循环不需要训练,因此更容易在客户那里部署:任何支持结构化输出的模型都能运行。
这项技能在客户现场如何体现?
NVIDIA 认为,RAG 的未来是把 LLM 和知识库动态编排成自主助手。即便如此,也要做好准备:和客户的对话往往不是从架构谈起,而是从一句具体的抱怨开始,比如“机器人把 X 制度答错了”。
第一件事是打开链路追踪,然后让客户看到评分器在哪里给出了“no”,以及系统接下来做了什么。
简历上不要只写“搭建了 RAG 聊天机器人”。要写明加入了证据评分和查询改写,并说明在一组真实用户问题上,错误回答减少了多少。
面试官可能会问:文档回答不了的问题,你是怎么处理的?give_up 分支和它的 trace,比任何幻灯片都更有说服力。
这篇文章对你有帮助吗?
感谢你的反馈!