FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

让 RAG 智能体学会重新检索,而不是硬答

用“评分—改写”循环拦住似是而非的段落,再用 20 个有标准答案的真实问题检验效果。

分享微博

要点速览

  • 基础 RAG 把问题转成向量,在向量数据库里只匹配一次。Agentic RAG 把检索变成一个工具,由智能体决定是否调用。
  • 评分器返回结构化输出,决定下一步走哪个分支。文档不相关时,系统不能据此作答,而要改写问题。
  • 在客户部署中,这个循环需要重试上限、“证据不足”这样的退出方式,以及标注来源的答案。
Agentic RAG 循环流程图:原始问题先进入“是否需要查阅文档”的判断,不需要则由智能体直接回答。需要则检索向量库,再由评分器(橙色高亮)判断相关性为 yes 或 no。yes:带来源 [id] 作答。no:检查是否还有改写次数,有则根据评分器的理由改写查询并回到检索步骤,没有则以证据不足为由拒答。注释:评分器对照原始问题打分,max_rewrites=2,评分器使用结构化输出。
“检索—评分—改写”循环:评分器对照原始问题给证据打分。返回“no”时,智能体改写查询、重新检索;改写次数用尽(max_rewrites=2)后,系统拒绝作答,而不是去猜。

LangGraph 的 Agentic RAG 教程里有一条听起来理所当然的规则:如果评分器判定检索到的文档不相关,图就不能基于这些上下文作答,而要改写问题、重新检索。

这条规则值得重视,因为它堵住了 RAG 编造内容最常见的一条路:模型拿到几段“差不多对”的文字,仍然硬着头皮用它们作答。对前线部署工程师(FDE)来说,这正是要赶在客户之前发现的错误。

本指南从一个简单的 RAG 管道出发,逐步搭建“决策、评分、改写”的循环。所有代码都是用纯 Python 写的简化示意。retrieve()、llm() 和 llm_structured() 需要自己接入向量库和模型,它们不属于任何库的 API。

要做什么,需要准备什么?

假设一个场景:一个回答公司人事制度问题的聊天机器人。员工问:“试用期员工有没有年假?”向量检索返回三段关于正式员工休假的文字。它们在语义上和问题非常接近,却回答不了这个问题。

需要准备三样东西:一个已灌入文档的向量库,一个能按 schema 返回 JSON 的模型,以及大约 20 个带正确答案的真实问题。三者中问题集最有价值,没有它就无从判断这个循环到底有没有用。

第 1 步:搭一个一次性检索的基线

AWS 这样描述基础 RAG:把问题转换成向量,在向量数据库中做匹配。匹配只做一次。

def simple_rag(question):
    docs = retrieve(question)   # 将问题向量化,只匹配一次
    return llm(f"根据以下内容回答:\n{docs}\n\n问题:{question}")

**检查:**跑一遍 20 个问题,记下答对了几个。对试用期这个问题,基线很可能会拿正式员工的规定自信地作答。把这个数字留着,最后做对比。

第 2 步:让智能体决定是否检索

LangGraph 教程构建了一个检索智能体,由它自己决定什么时候查向量库、什么时候直接回答。检索成了一次工具调用,不再是固定步骤。

def decide(question):
    v = llm_structured(
        prompt=f"这个问题是否需要查阅内部文档?{question}",
        schema={"need_search": "yes|no"},
    )
    return v["need_search"] == "yes"

检查:“谢谢”这类客套话应该直接进入回答分支,所有制度类问题都应该进入检索分支。如果智能体在制度问题上跳过了检索,先改好提示词再往下做。

第 3 步:编写返回结构化输出的评分器

这是整个设计的核心。在教程中,LangGraph 用一个路由函数给文档评分,这个函数调用的是带结构化输出 schema 的模型。原因很实际:代码需要读到明确的标签,没法解析“似乎比较相关”这样的句子。

GRADE_SCHEMA = {"relevant": "yes|no", "reason": "str"}

def grade(question, docs):
    return llm_structured(
        prompt=f"以下段落能否回答这个问题?\n{docs}\n\n问题:{question}",
        schema=GRADE_SCHEMA,
    )

reason 字段是这份示意代码里的一个设计选择:它告诉改写步骤,上一次检索错在哪里。

给证据评分也有学术依据。Corrective RAG(CRAG)论文加入了一个轻量级评估器,对针对某个问题检索到的文档整体质量打分,再根据它返回的置信度选择下一步检索动作。

**检查:**在试用期的例子里,评分器应返回 "no",理由大致是“文档只涉及正式员工”。如果评分器把所有结果都标成 "yes",说明评分提示词太宽松。

第 4 步:根据状态路由

LangGraph 使用条件边:运行时对当前状态执行一个函数,由它选出下一个节点。下面的纯 Python 版本做的是同一件事。

def route(state):
    if state["grade"]["relevant"] == "yes":
        return "generate"
    if state["rewrites"] >= state["max_rewrites"]:
        return "give_up"
    return "rewrite"

give_up 分支同样是这份示意代码里的设计选择。没有它,遇到文档回答不了的问题,系统就会一直循环下去。

第 5 步:改写查询,闭合循环

改写函数接收评分器给出的失败理由:

def rewrite(question, reason):
    return llm(f"改写这个问题,使检索效果更好。"
               f"上一次检索失败的原因是:{reason}\n问题:{question}")

主函数先判断是否需要检索,再初始化状态:

def agentic_rag(question, max_rewrites=2):
    if not decide(question):
        return llm(question)
    s = {"query": question, "rewrites": 0, "max_rewrites": max_rewrites}
    return loop(question, s)

循环依次执行检索、评分和路由:

def loop(question, s):
    while True:
        s["docs"] = retrieve(s["query"])
        s["grade"] = grade(question, s["docs"])  # 对照原始问题评分
        nxt = route(s)
        if nxt == "generate":
            return answer_with_sources(question, s["docs"])
        if nxt == "give_up":
            return "文档中没有找到足够的证据来回答这个问题。"
        s["query"] = rewrite(s["query"], s["grade"]["reason"])
        s["rewrites"] += 1

注意一个细节:评分器始终对照原始问题打分,从不对照改写后的问题。改写只用于检索。这样可以防止循环悄悄滑向另一个更容易回答的问题。

**检查:**打印试用期问题的查询序列。第二次尝试应该生成类似“试用期员工的休假制度”这样的查询,这一次评分器应返回 "yes"。

第 6 步:带来源作答

AWS 把来源归属列为 RAG 的好处之一。既然已经在给证据评分,标注来源还能让用户自己核查评分器的判断。

def answer_with_sources(question, docs):
    ctx = "\n".join(f"[{d['id']}] {d['text']}" for d in docs)
    return llm(f"只使用下面的段落作答,每个要点后标注 [id]。\n{ctx}\n\n问题:{question}")

**检查:**重新跑一遍 20 个问题,与第 1 步的基线对比。除了答对的数量,还要统计两项:本该回答却拒答的问题,以及本该拒答却作答的问题。

最常见的错误有哪些?

第一,让评分器返回自由文本,再用正则去猜标签。演示时一切正常,遇到“是的,但不完全是”这样的回答就出错。第二,循环没有上限。遇到文档集之外的问题,模型成本不断攀升,却换不来任何结果。

第三种更难察觉:改写保留了关键词,却丢掉了限定条件。比如“试用期”一词消失了,问题又变回一个泛泛的问题。要发现这种情况,得逐条阅读每次改写的 trace,而不是只看最终答案。

Self-RAG 走的是另一条路:它训练模型本身,让模型只在需要时检索,并用特殊的反思 token 评判自己的输出。本指南中的循环不需要训练,因此更容易在客户那里部署:任何支持结构化输出的模型都能运行。

这项技能在客户现场如何体现?

NVIDIA 认为,RAG 的未来是把 LLM 和知识库动态编排成自主助手。即便如此,也要做好准备:和客户的对话往往不是从架构谈起,而是从一句具体的抱怨开始,比如“机器人把 X 制度答错了”。

第一件事是打开链路追踪,然后让客户看到评分器在哪里给出了“no”,以及系统接下来做了什么。

简历上不要只写“搭建了 RAG 聊天机器人”。要写明加入了证据评分和查询改写,并说明在一组真实用户问题上,错误回答减少了多少。

面试官可能会问:文档回答不了的问题,你是怎么处理的?give_up 分支和它的 trace,比任何幻灯片都更有说服力。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用别再让 Agent 每走一步都去问大模型把贷款案件 Agent 拆成规划、DAG 校验、执行、评审和重规划后,效果可以度量;流程固定时,手写工作流就够了。