LLM 评分修正循环,难在知道何时停下
Anthropic 的参考模式只在 PASS 时返回,不限轮数;面向真实客户的版本必须自己设好出口。
要点速览
- Anthropic cookbook 里的模式遇到 PASS 才返回,没有轮数上限,生产环境版本必须自己加上。
- 评估器只在标准清晰时才有用;关于模型自我纠错的证据并不一致,能量化的部分交给代码去测。
- 先试单个提示词,简单方法不够用时再搭循环。
在 Anthropic 为评估器-优化器(evaluator–optimizer)模式提供的示例 notebook 里,循环是一个 while True:,只有评估器恰好返回 PASS 时才会退出。轮数没有上限。如果评估器始终不满意,代码就会一直跑下去。
在 notebook 里这无伤大雅。一旦要搭一个替企业起草客户回复的系统,问题就来了:每多一轮,就多一次模型调用、多一段等待时间,而草稿未必有任何改进。
Anthropic 自己也写道,Agent 循环通常会带停止条件,比如最大迭代次数,以保持可控。
本指南用 Python 从零搭建这个循环,一直做到它知道何时停下。最终得到一个函数:输入客户请求,返回草稿和停止原因,并保留每一轮的历史记录,可以直接拿给客户看。
动笔之前需要准备什么
需要 Python 3、一个模型服务商的 API 账号和一批样例邮件。下面的示例通过一个空的 call_model 函数调用模型。这部分是有意留空的:各家 SDK 写法不同,请接入自己使用的那一个。
贯穿全文的例子:客户询问退款为什么迟迟未到。一封回复合格的条件是:写明正确的订单号,给出时间表,不做超出政策的承诺,篇幅不超过 120 个词。
第 1 步:先试单次调用
任何循环都会成倍增加模型调用次数。所以在写循环之前,先用单个提示词跑 10 封样例邮件,看看最简单的方法是否已经够用。
def call_model(system: str, prompt: str) -> str:
"""占位函数:接入你的 SDK 并返回文本。"""
raise NotImplementedError
def generate(task: str, feedback: str = "") -> str:
system = "你负责起草客户回复:简洁,且不超出政策范围。"
prompt = task if not feedback else f"{task}\n\n请根据以下反馈修改:\n{feedback}"
return call_model(system, prompt)
**检查:**读完 10 份草稿,标出每份没满足哪些标准。如果 10 份全部合格,到此为止,不需要循环。
第 2 步:写一份人也能照着打分的评分标准
Anthropic 认为,这种工作流在评估标准清晰时效果好。示例 notebook 还补充了一个信号:模型本身必须能给出有意义的反馈。
直接在第 1 步不合格的邮件上验证这一点。亲手写一行具体反馈,再调用一次 generate,看邮件是否变好。如果人工反馈都救不了一份草稿,评估器也很难做得更好。
RUBRIC = """按 4 条标准为邮件评分:
1. 写明正确的订单号。
2. 给出具体的退款时间表。
3. 不做超出所给政策的承诺。
4. 不超过 120 个词。
只有 4 条标准全部满足且没有剩余反馈时,才返回 PASS。"""
评分标准的最后一行最关键:它迫使评估器只在无可挑剔时才返回 PASS。
第 3 步:让评估器返回 JSON,而不是一段文字
原 notebook 把结论字符串和 PASS 做比较。下面的版本把结论扩展为三个值:PASS、NEEDS_IMPROVEMENT 和 FAIL,并用 JSON 包起来,这样代码就能直接取出结论,不必揣测一段文字的意思。
有两种做法。最可靠的是开启 Claude 的结构化输出(structured outputs),它用约束解码保证结果符合 schema,格式错误的输出不会再出现。
注意它只支持 JSON Schema 的一部分,minimum/maximum 这类数值约束会让 API 返回 400 错误。一个简单的 schema 就够了:结论用 enum,问题列表用字符串数组。
下面的代码走第二条路,并做了精简,可以配合任何 SDK 运行:在提示词里描述 JSON 结构,自己解析。except 分支只在没有开启结构化输出、或服务商没有同类功能时才有用;开启之后可以删掉。
import json
def evaluate(task: str, draft: str) -> dict:
system = RUBRIC + '\n返回 JSON:{"verdict": "PASS|NEEDS_IMPROVEMENT|FAIL", "issues": ["..."]}'
raw = call_model(system, f"客户请求:\n{task}\n\n草稿:\n{draft}")
try:
return json.loads(raw)
except json.JSONDecodeError:
return {"verdict": "FAIL", "issues": ["评估器返回了无法解析的输出"]}
**检查:**打印 10 封邮件的 verdict。自己解析时,损坏的 JSON 会落进 except 分支,邮件转交给人处理,循环不会崩溃。
第 4 步:加上模型无法辩驳的硬性检查
模型能否自我纠错,研究上仍无定论。Madaan 等人的 Self-Refine 表明,LLM 对自己的输出给出反馈再加以修改,可以在多轮中逐步改进。
但论文“Large Language Models Cannot Self-Correct Reasoning Yet”发现,没有外部反馈时,LLM 很难纠正自己的答案,有时还会改得更糟。
评审者也有偏见。另一项研究记录到 GPT-4 在评分时存在明显的自我偏好,并发现 LLM 给自己熟悉的文本(以低困惑度衡量)打的分明显高于人类。
所以,能用代码衡量的标准,就交给代码。例子中的第 1 条和第 4 条正属于此类:
def hard_checks(draft: str, order_id: str) -> list[str]:
issues = []
if order_id not in draft:
issues.append(f"缺少订单号 {order_id}。")
if len(draft.split()) > 120:
issues.append("邮件超过 120 个词。")
return issues
另外两条标准,可以换一个模型来评分,至少也要在几十封邮件上把它的评分和人工评分对比一下。
第 5 步:循环停止的四种方式
这正是原模式留白的部分。一篇 2026 年的预印本把“何时停止”视为最优停止问题:只有预期改进值得付出成本时,才继续修改。下面的函数是这一思路的实用版本,有四个出口:通过、转交人工、停滞和轮数用尽。
MAX_ROUNDS = 3
def run(task: str, order_id: str):
feedback, history = "", []
for round_no in range(1, MAX_ROUNDS + 1):
draft = generate(task, feedback)
verdict = evaluate(task, draft)
hard = hard_checks(draft, order_id)
issues = hard + verdict.get("issues", [])
history.append({"round": round_no, "draft": draft, "issues": issues})
if verdict.get("verdict") == "PASS" and not hard:
return draft, "pass", history
if verdict.get("verdict") == "FAIL":
return draft, "escalate", history
if len(history) > 1 and issues == history[-2]["issues"]:
return draft, "stalled", history
feedback = "\n".join(issues)
return draft, "max_rounds", history
成本很好算:MAX_ROUNDS = 3 时,最坏情况是 3 次生成加 3 次评分,每封邮件 6 次模型调用。stalled 分支是判断下一轮不会带来改进的最简单办法:如果问题列表和上一轮完全相同,继续修改只是在花钱。
把 FAIL 当作转交人工,是本指南特有的设计选择,因为原模式只在 PASS 时退出。这与 Anthropic 的描述一致:Agent 可以在检查点或遇到阻碍时暂停,等待人工反馈。一封从根本上就有问题的邮件,换个措辞也修不好。
**检查:**重新跑那 10 封样例邮件,统计每种停止原因各有多少封。如果大部分停在 max_rounds,问题通常出在评分标准或起草提示词上,而不是轮数不够。
常见错误
最常见的错误是评分标准含糊,比如“邮件必须礼貌、专业”。评估器只会给出泛泛的反馈,草稿反复换词却不见改进,循环一直跑到轮数用尽。
第二个错误是让模型的 PASS 凌驾于硬性检查之上:在上面的代码里,缺少订单号的邮件永远不可能从 pass 分支退出。
第三个错误是丢掉 history。这个列表能告诉你哪条标准让循环耗费的轮数最多,是修改提示词时最好的数据。
这项技能在客户现场是什么样子
在真实项目中,评分标准不是自己凭空想出来的。要和客服负责人坐下来,收集他们团队不得不修改过的邮件,把每一个修改理由变成一条可验证的标准。这是真正的客户需求调研,区别在于带回来的是一个 Python 函数。
汇报时,带一张停止原因统计表,而不是几份精修过的草稿。下面的数字只用来说明如何读这张表,沿用本指南的 10 封样例邮件,并非真实测量结果:
| 停止原因 | 邮件数 | 每封邮件的模型调用次数 | 调用总数 |
|---|---|---|---|
| 第 1 轮 pass | 6 | 2 | 12 |
| 第 2 轮 pass | 2 | 4 | 8 |
| 第 2 轮 stalled | 1 | 4 | 4 |
| 第 1 轮 escalate | 1 | 2 | 2 |
客户从这张表里能一眼看出三件事:10 封邮件中有 8 封自动通过,2 封连同反馈历史转到了人手里,整批共用 26 次调用,上限是 60 次。那封 stalled 的邮件值得打开 history 看看:如果它卡在缺少时间表上,可能是退款政策根本没写进提示词。
如果想把这段经历写进简历,不要写“构建了一个自我纠错 Agent”。要写设计了一个带轮数上限和人工转交的评分修正循环,并附上第一轮通过的邮件占比。面试时,要准备好讲清系统的边界:它何时停止,停止后由谁接手。
客户不会问你的模型改邮件改得多好。他们会问改不好时怎么办,你的 run 函数需要事先准备好答案。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Building effective agents (Anthropic Engineering) · 2024-12-19
- evaluator_optimizer.ipynb (anthropics/claude-cookbooks, patterns/agents)
- Large Language Models Cannot Self-Correct Reasoning Yet · 2023-10-03
- Self-Preference Bias in LLM-as-a-Judge · 2024-10-29
- Structured outputs (Claude Docs)
- Self-Refine: Iterative Refinement with Self-Feedback · 2023-03-30
- Optimal Stopping of Self-Refining Foundation Models · 2026-08-11