# LLM 评分修正循环，难在知道何时停下

> Anthropic 的参考模式只在 PASS 时返回，不限轮数；面向真实客户的版本必须自己设好出口。

原文: https://fdetimes.net/zh/guides/llm-evaluator-optimizer-loop-stop-conditions/

在 Anthropic 为评估器-优化器（evaluator–optimizer）模式提供的示例 notebook 里，循环是一个 `while True:`，只有评估器恰好返回 `PASS` 时才会退出。轮数没有上限。如果评估器始终不满意，代码就会一直跑下去。

在 notebook 里这无伤大雅。一旦要搭一个替企业起草客户回复的系统，问题就来了：每多一轮，就多一次模型调用、多一段等待时间，而草稿未必有任何改进。

Anthropic 自己也写道，Agent 循环通常会带停止条件，比如最大迭代次数，以保持可控。

本指南用 Python 从零搭建这个循环，一直做到它知道何时停下。最终得到一个函数：输入客户请求，返回草稿和停止原因，并保留每一轮的历史记录，可以直接拿给客户看。

## 动笔之前需要准备什么

需要 Python 3、一个模型服务商的 API 账号和一批样例邮件。下面的示例通过一个空的 `call_model` 函数调用模型。这部分是有意留空的：各家 SDK 写法不同，请接入自己使用的那一个。

贯穿全文的例子：客户询问退款为什么迟迟未到。一封回复合格的条件是：写明正确的订单号，给出时间表，不做超出政策的承诺，篇幅不超过 120 个词。

## 第 1 步：先试单次调用

任何循环都会成倍增加模型调用次数。所以在写循环之前，先用单个提示词跑 10 封样例邮件，看看最简单的方法是否已经够用。

```python
def call_model(system: str, prompt: str) -> str:
    """占位函数：接入你的 SDK 并返回文本。"""
    raise NotImplementedError

def generate(task: str, feedback: str = "") -> str:
    system = "你负责起草客户回复：简洁，且不超出政策范围。"
    prompt = task if not feedback else f"{task}\n\n请根据以下反馈修改：\n{feedback}"
    return call_model(system, prompt)
```

**检查：**读完 10 份草稿，标出每份没满足哪些标准。如果 10 份全部合格，到此为止，不需要循环。

## 第 2 步：写一份人也能照着打分的评分标准

Anthropic 认为，这种工作流在评估标准清晰时效果好。示例 notebook 还补充了一个信号：模型本身必须能给出有意义的反馈。

直接在第 1 步不合格的邮件上验证这一点。亲手写一行具体反馈，再调用一次 `generate`，看邮件是否变好。如果人工反馈都救不了一份草稿，评估器也很难做得更好。

```python
RUBRIC = """按 4 条标准为邮件评分：
1. 写明正确的订单号。
2. 给出具体的退款时间表。
3. 不做超出所给政策的承诺。
4. 不超过 120 个词。
只有 4 条标准全部满足且没有剩余反馈时，才返回 PASS。"""
```

评分标准的最后一行最关键：它迫使评估器只在无可挑剔时才返回 `PASS`。

## 第 3 步：让评估器返回 JSON，而不是一段文字

原 notebook 把结论字符串和 `PASS` 做比较。下面的版本把结论扩展为三个值：`PASS`、`NEEDS_IMPROVEMENT` 和 `FAIL`，并用 JSON 包起来，这样代码就能直接取出结论，不必揣测一段文字的意思。

有两种做法。最可靠的是开启 Claude 的结构化输出（structured outputs），它用约束解码保证结果符合 schema，格式错误的输出不会再出现。

注意它只支持 JSON Schema 的一部分，`minimum`/`maximum` 这类数值约束会让 API 返回 400 错误。一个简单的 schema 就够了：结论用 enum，问题列表用字符串数组。

下面的代码走第二条路，并做了精简，可以配合任何 SDK 运行：在提示词里描述 JSON 结构，自己解析。`except` 分支只在没有开启结构化输出、或服务商没有同类功能时才有用；开启之后可以删掉。

```python
import json

def evaluate(task: str, draft: str) -> dict:
    system = RUBRIC + '\n返回 JSON：{"verdict": "PASS|NEEDS_IMPROVEMENT|FAIL", "issues": ["..."]}'
    raw = call_model(system, f"客户请求：\n{task}\n\n草稿：\n{draft}")
    try:
        return json.loads(raw)
    except json.JSONDecodeError:
        return {"verdict": "FAIL", "issues": ["评估器返回了无法解析的输出"]}
```

**检查：**打印 10 封邮件的 `verdict`。自己解析时，损坏的 JSON 会落进 `except` 分支，邮件转交给人处理，循环不会崩溃。

## 第 4 步：加上模型无法辩驳的硬性检查

模型能否自我纠错，研究上仍无定论。Madaan 等人的 Self-Refine 表明，LLM 对自己的输出给出反馈再加以修改，可以在多轮中逐步改进。

但论文“Large Language Models Cannot Self-Correct Reasoning Yet”发现，没有外部反馈时，LLM 很难纠正自己的答案，有时还会改得更糟。

评审者也有偏见。另一项研究记录到 GPT-4 在评分时存在明显的自我偏好，并发现 LLM 给自己熟悉的文本（以低困惑度衡量）打的分明显高于人类。

所以，能用代码衡量的标准，就交给代码。例子中的第 1 条和第 4 条正属于此类：

```python
def hard_checks(draft: str, order_id: str) -> list[str]:
    issues = []
    if order_id not in draft:
        issues.append(f"缺少订单号 {order_id}。")
    if len(draft.split()) > 120:
        issues.append("邮件超过 120 个词。")
    return issues
```

另外两条标准，可以换一个模型来评分，至少也要在几十封邮件上把它的评分和人工评分对比一下。

## 第 5 步：循环停止的四种方式

这正是原模式留白的部分。一篇 2026 年的预印本把“何时停止”视为最优停止问题：只有预期改进值得付出成本时，才继续修改。下面的函数是这一思路的实用版本，有四个出口：通过、转交人工、停滞和轮数用尽。

```python
MAX_ROUNDS = 3

def run(task: str, order_id: str):
    feedback, history = "", []
    for round_no in range(1, MAX_ROUNDS + 1):
        draft = generate(task, feedback)
        verdict = evaluate(task, draft)
        hard = hard_checks(draft, order_id)
        issues = hard + verdict.get("issues", [])
        history.append({"round": round_no, "draft": draft, "issues": issues})
        if verdict.get("verdict") == "PASS" and not hard:
            return draft, "pass", history
        if verdict.get("verdict") == "FAIL":
            return draft, "escalate", history
        if len(history) > 1 and issues == history[-2]["issues"]:
            return draft, "stalled", history
        feedback = "\n".join(issues)
    return draft, "max_rounds", history
```

成本很好算：`MAX_ROUNDS = 3` 时，最坏情况是 3 次生成加 3 次评分，每封邮件 6 次模型调用。`stalled` 分支是判断下一轮不会带来改进的最简单办法：如果问题列表和上一轮完全相同，继续修改只是在花钱。

把 `FAIL` 当作转交人工，是本指南特有的设计选择，因为原模式只在 `PASS` 时退出。这与 Anthropic 的描述一致：Agent 可以在检查点或遇到阻碍时暂停，等待人工反馈。一封从根本上就有问题的邮件，换个措辞也修不好。

**要点:** 没有停止点的自我纠错循环，只是一张尚未到期的账单。

**检查：**重新跑那 10 封样例邮件，统计每种停止原因各有多少封。如果大部分停在 `max_rounds`，问题通常出在评分标准或起草提示词上，而不是轮数不够。

## 常见错误

最常见的错误是评分标准含糊，比如“邮件必须礼貌、专业”。评估器只会给出泛泛的反馈，草稿反复换词却不见改进，循环一直跑到轮数用尽。

第二个错误是让模型的 PASS 凌驾于硬性检查之上：在上面的代码里，缺少订单号的邮件永远不可能从 `pass` 分支退出。

第三个错误是丢掉 `history`。这个列表能告诉你哪条标准让循环耗费的轮数最多，是修改提示词时最好的数据。

## 这项技能在客户现场是什么样子

在真实项目中，评分标准不是自己凭空想出来的。要和客服负责人坐下来，收集他们团队不得不修改过的邮件，把每一个修改理由变成一条可验证的标准。这是真正的客户需求调研，区别在于带回来的是一个 Python 函数。

汇报时，带一张停止原因统计表，而不是几份精修过的草稿。下面的数字只用来说明如何读这张表，沿用本指南的 10 封样例邮件，并非真实测量结果：

| 停止原因 | 邮件数 | 每封邮件的模型调用次数 | 调用总数 |
|---|---|---|---|
| 第 1 轮 pass | 6 | 2 | 12 |
| 第 2 轮 pass | 2 | 4 | 8 |
| 第 2 轮 stalled | 1 | 4 | 4 |
| 第 1 轮 escalate | 1 | 2 | 2 |

客户从这张表里能一眼看出三件事：10 封邮件中有 8 封自动通过，2 封连同反馈历史转到了人手里，整批共用 26 次调用，上限是 60 次。那封 `stalled` 的邮件值得打开 `history` 看看：如果它卡在缺少时间表上，可能是退款政策根本没写进提示词。

如果想把这段经历写进简历，不要写“构建了一个自我纠错 Agent”。要写设计了一个带轮数上限和人工转交的评分修正循环，并附上第一轮通过的邮件占比。面试时，要准备好讲清系统的边界：它何时停止，停止后由谁接手。

客户不会问你的模型改邮件改得多好。他们会问改不好时怎么办，你的 `run` 函数需要事先准备好答案。

**本周动手试试:**

- 拿 10 封真实的客户回复，先只跑一次提示词，记录哪些标准不合格，然后再写循环
- 写一份包含 4 条可验证标准的评分标准，并为其中至少两条写一个 hard_checks 函数
- 用 MAX_ROUNDS = 3 运行循环，统计停在 pass、stalled、escalate 和 max_rounds 的邮件各有多少封，以及模型调用总数

## 信源

- [Building effective agents (Anthropic Engineering)](https://www.anthropic.com/engineering/building-effective-agents)

- [evaluator_optimizer.ipynb (anthropics/claude-cookbooks, patterns/agents)](https://raw.githubusercontent.com/anthropics/claude-cookbooks/refs/heads/main/patterns/agents/evaluator_optimizer.ipynb)

- [Large Language Models Cannot Self-Correct Reasoning Yet](https://arxiv.org/abs/2310.01798)

- [Self-Preference Bias in LLM-as-a-Judge](https://arxiv.org/abs/2410.21819)

- [Structured outputs (Claude Docs)](https://platform.claude.com/docs/en/build-with-claude/structured-outputs)

- [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651)

- [Optimal Stopping of Self-Refining Foundation Models](https://arxiv.org/abs/2608.10729)
