# 让 RAG 智能体学会重新检索，而不是硬答

> 用“评分—改写”循环拦住似是而非的段落，再用 20 个有标准答案的真实问题检验效果。

原文: https://fdetimes.net/zh/guides/agentic-rag-query-rewriting-refusal/

LangGraph 的 Agentic RAG 教程里有一条听起来理所当然的规则：如果评分器判定检索到的文档不相关，图就不能基于这些上下文作答，而要改写问题、重新检索。

这条规则值得重视，因为它堵住了 RAG 编造内容最常见的一条路：模型拿到几段“差不多对”的文字，仍然硬着头皮用它们作答。对前线部署工程师（FDE）来说，这正是要赶在客户之前发现的错误。

本指南从一个简单的 RAG 管道出发，逐步搭建“决策、评分、改写”的循环。所有代码都是用纯 Python 写的简化示意。`retrieve()`、`llm()` 和 `llm_structured()` 需要自己接入向量库和模型，它们不属于任何库的 API。

## 要做什么，需要准备什么？

假设一个场景：一个回答公司人事制度问题的聊天机器人。员工问：“试用期员工有没有年假？”向量检索返回三段关于正式员工休假的文字。它们在语义上和问题非常接近，却回答不了这个问题。

需要准备三样东西：一个已灌入文档的向量库，一个能按 schema 返回 JSON 的模型，以及大约 20 个带正确答案的真实问题。三者中问题集最有价值，没有它就无从判断这个循环到底有没有用。

## 第 1 步：搭一个一次性检索的基线

AWS 这样描述基础 RAG：把问题转换成向量，在向量数据库中做匹配。匹配只做一次。

```python
def simple_rag(question):
    docs = retrieve(question)   # 将问题向量化，只匹配一次
    return llm(f"根据以下内容回答：\n{docs}\n\n问题：{question}")
```

**检查：**跑一遍 20 个问题，记下答对了几个。对试用期这个问题，基线很可能会拿正式员工的规定自信地作答。把这个数字留着，最后做对比。

## 第 2 步：让智能体决定是否检索

LangGraph 教程构建了一个检索智能体，由它自己决定什么时候查向量库、什么时候直接回答。检索成了一次工具调用，不再是固定步骤。

```python
def decide(question):
    v = llm_structured(
        prompt=f"这个问题是否需要查阅内部文档？{question}",
        schema={"need_search": "yes|no"},
    )
    return v["need_search"] == "yes"
```

**检查：**“谢谢”这类客套话应该直接进入回答分支，所有制度类问题都应该进入检索分支。如果智能体在制度问题上跳过了检索，先改好提示词再往下做。

## 第 3 步：编写返回结构化输出的评分器

这是整个设计的核心。在教程中，LangGraph 用一个路由函数给文档评分，这个函数调用的是带结构化输出 schema 的模型。原因很实际：代码需要读到明确的标签，没法解析“似乎比较相关”这样的句子。

```python
GRADE_SCHEMA = {"relevant": "yes|no", "reason": "str"}

def grade(question, docs):
    return llm_structured(
        prompt=f"以下段落能否回答这个问题？\n{docs}\n\n问题：{question}",
        schema=GRADE_SCHEMA,
    )
```

`reason` 字段是这份示意代码里的一个设计选择：它告诉改写步骤，上一次检索错在哪里。

给证据评分也有学术依据。Corrective RAG（CRAG）论文加入了一个轻量级评估器，对针对某个问题检索到的文档整体质量打分，再根据它返回的置信度选择下一步检索动作。

**检查：**在试用期的例子里，评分器应返回 `"no"`，理由大致是“文档只涉及正式员工”。如果评分器把所有结果都标成 `"yes"`，说明评分提示词太宽松。

## 第 4 步：根据状态路由

LangGraph 使用条件边：运行时对当前状态执行一个函数，由它选出下一个节点。下面的纯 Python 版本做的是同一件事。

```python
def route(state):
    if state["grade"]["relevant"] == "yes":
        return "generate"
    if state["rewrites"] >= state["max_rewrites"]:
        return "give_up"
    return "rewrite"
```

`give_up` 分支同样是这份示意代码里的设计选择。没有它，遇到文档回答不了的问题，系统就会一直循环下去。

## 第 5 步：改写查询，闭合循环

改写函数接收评分器给出的失败理由：

```python
def rewrite(question, reason):
    return llm(f"改写这个问题，使检索效果更好。"
               f"上一次检索失败的原因是：{reason}\n问题：{question}")
```

主函数先判断是否需要检索，再初始化状态：

```python
def agentic_rag(question, max_rewrites=2):
    if not decide(question):
        return llm(question)
    s = {"query": question, "rewrites": 0, "max_rewrites": max_rewrites}
    return loop(question, s)
```

循环依次执行检索、评分和路由：

```python
def loop(question, s):
    while True:
        s["docs"] = retrieve(s["query"])
        s["grade"] = grade(question, s["docs"])  # 对照原始问题评分
        nxt = route(s)
        if nxt == "generate":
            return answer_with_sources(question, s["docs"])
        if nxt == "give_up":
            return "文档中没有找到足够的证据来回答这个问题。"
        s["query"] = rewrite(s["query"], s["grade"]["reason"])
        s["rewrites"] += 1
```

注意一个细节：评分器始终对照原始问题打分，从不对照改写后的问题。改写只用于检索。这样可以防止循环悄悄滑向另一个更容易回答的问题。

**检查：**打印试用期问题的查询序列。第二次尝试应该生成类似“试用期员工的休假制度”这样的查询，这一次评分器应返回 `"yes"`。

## 第 6 步：带来源作答

AWS 把来源归属列为 RAG 的好处之一。既然已经在给证据评分，标注来源还能让用户自己核查评分器的判断。

```python
def answer_with_sources(question, docs):
    ctx = "\n".join(f"[{d['id']}] {d['text']}" for d in docs)
    return llm(f"只使用下面的段落作答，每个要点后标注 [id]。\n{ctx}\n\n问题：{question}")
```

**检查：**重新跑一遍 20 个问题，与第 1 步的基线对比。除了答对的数量，还要统计两项：本该回答却拒答的问题，以及本该拒答却作答的问题。

**要点:** 能说“证据不足”的 RAG 系统，比每个问题都回答的系统更值得信任。

## 最常见的错误有哪些？

第一，让评分器返回自由文本，再用正则去猜标签。演示时一切正常，遇到“是的，但不完全是”这样的回答就出错。第二，循环没有上限。遇到文档集之外的问题，模型成本不断攀升，却换不来任何结果。

第三种更难察觉：改写保留了关键词，却丢掉了限定条件。比如“试用期”一词消失了，问题又变回一个泛泛的问题。要发现这种情况，得逐条阅读每次改写的 trace，而不是只看最终答案。

Self-RAG 走的是另一条路：它训练模型本身，让模型只在需要时检索，并用特殊的反思 token 评判自己的输出。本指南中的循环不需要训练，因此更容易在客户那里部署：任何支持结构化输出的模型都能运行。

## 这项技能在客户现场如何体现？

NVIDIA 认为，RAG 的未来是把 LLM 和知识库动态编排成自主助手。即便如此，也要做好准备：和客户的对话往往不是从架构谈起，而是从一句具体的抱怨开始，比如“机器人把 X 制度答错了”。

第一件事是打开链路追踪，然后让客户看到评分器在哪里给出了“no”，以及系统接下来做了什么。

简历上不要只写“搭建了 RAG 聊天机器人”。要写明加入了证据评分和查询改写，并说明在一组真实用户问题上，错误回答减少了多少。

面试官可能会问：文档回答不了的问题，你是怎么处理的？`give_up` 分支和它的 trace，比任何幻灯片都更有说服力。

**本周动手试试:**

- 找出当前 RAG 系统答错的 10 个问题，用评分器给每个问题的文档打分，记下有多少被标为“no”
- 加上 max_rewrites=2 的上限和明确的拒答信息，再用文档集肯定回答不了的问题测试
- 每次运行都打印 trace（原始问题、各次改写、评分标签、来源 id），把它作为作品集里的演示

## 信源

- [What is RAG? - Retrieval-Augmented Generation AI Explained](https://aws.amazon.com/what-is/retrieval-augmented-generation/)

- [What Is Retrieval-Augmented Generation, aka RAG?](https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/)

- [Agentic RAG - LangGraph docs](https://docs.langchain.com/oss/python/langgraph/agentic-rag)

- [Corrective Retrieval Augmented Generation](https://arxiv.org/abs/2401.15884)

- [Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection](https://arxiv.org/abs/2310.11511)
