FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

LLM 评分修正循环,难在知道何时停下

Anthropic 的参考模式只在 PASS 时返回,不限轮数;面向真实客户的版本必须自己设好出口。

分享微博

要点速览

  • Anthropic cookbook 里的模式遇到 PASS 才返回,没有轮数上限,生产环境版本必须自己加上。
  • 评估器只在标准清晰时才有用;关于模型自我纠错的证据并不一致,能量化的部分交给代码去测。
  • 先试单个提示词,简单方法不够用时再搭循环。
循环示意图包含四个步骤:起草、评分、硬性检查、反馈,然后回到起草。循环中央是一个橙色的大号数字 3,标注“最多轮数”。评分步骤引出一个分支,分成四个出口:通过(4 条标准全部满足)、转交人工(结论为 FAIL)、停滞(反馈重复)和达到上限,其中“达到上限”以橙色突出显示。
run 函数最多循环三次,依次起草回信、评分、做硬性检查并给出反馈,然后从四个出口之一退出。“达到上限”这个出口正是 Anthropic 评估器-优化器模式所缺少的。来源:Anthropic 评估器-优化器 notebook 及本文示例代码。

在 Anthropic 为评估器-优化器(evaluator–optimizer)模式提供的示例 notebook 里,循环是一个 while True:,只有评估器恰好返回 PASS 时才会退出。轮数没有上限。如果评估器始终不满意,代码就会一直跑下去。

在 notebook 里这无伤大雅。一旦要搭一个替企业起草客户回复的系统,问题就来了:每多一轮,就多一次模型调用、多一段等待时间,而草稿未必有任何改进。

Anthropic 自己也写道,Agent 循环通常会带停止条件,比如最大迭代次数,以保持可控。

本指南用 Python 从零搭建这个循环,一直做到它知道何时停下。最终得到一个函数:输入客户请求,返回草稿和停止原因,并保留每一轮的历史记录,可以直接拿给客户看。

动笔之前需要准备什么

需要 Python 3、一个模型服务商的 API 账号和一批样例邮件。下面的示例通过一个空的 call_model 函数调用模型。这部分是有意留空的:各家 SDK 写法不同,请接入自己使用的那一个。

贯穿全文的例子:客户询问退款为什么迟迟未到。一封回复合格的条件是:写明正确的订单号,给出时间表,不做超出政策的承诺,篇幅不超过 120 个词。

第 1 步:先试单次调用

任何循环都会成倍增加模型调用次数。所以在写循环之前,先用单个提示词跑 10 封样例邮件,看看最简单的方法是否已经够用。

def call_model(system: str, prompt: str) -> str:
    """占位函数:接入你的 SDK 并返回文本。"""
    raise NotImplementedError

def generate(task: str, feedback: str = "") -> str:
    system = "你负责起草客户回复:简洁,且不超出政策范围。"
    prompt = task if not feedback else f"{task}\n\n请根据以下反馈修改:\n{feedback}"
    return call_model(system, prompt)

**检查:**读完 10 份草稿,标出每份没满足哪些标准。如果 10 份全部合格,到此为止,不需要循环。

第 2 步:写一份人也能照着打分的评分标准

Anthropic 认为,这种工作流在评估标准清晰时效果好。示例 notebook 还补充了一个信号:模型本身必须能给出有意义的反馈。

直接在第 1 步不合格的邮件上验证这一点。亲手写一行具体反馈,再调用一次 generate,看邮件是否变好。如果人工反馈都救不了一份草稿,评估器也很难做得更好。

RUBRIC = """按 4 条标准为邮件评分:
1. 写明正确的订单号。
2. 给出具体的退款时间表。
3. 不做超出所给政策的承诺。
4. 不超过 120 个词。
只有 4 条标准全部满足且没有剩余反馈时,才返回 PASS。"""

评分标准的最后一行最关键:它迫使评估器只在无可挑剔时才返回 PASS。

第 3 步:让评估器返回 JSON,而不是一段文字

原 notebook 把结论字符串和 PASS 做比较。下面的版本把结论扩展为三个值:PASS、NEEDS_IMPROVEMENT 和 FAIL,并用 JSON 包起来,这样代码就能直接取出结论,不必揣测一段文字的意思。

有两种做法。最可靠的是开启 Claude 的结构化输出(structured outputs),它用约束解码保证结果符合 schema,格式错误的输出不会再出现。

注意它只支持 JSON Schema 的一部分,minimum/maximum 这类数值约束会让 API 返回 400 错误。一个简单的 schema 就够了:结论用 enum,问题列表用字符串数组。

下面的代码走第二条路,并做了精简,可以配合任何 SDK 运行:在提示词里描述 JSON 结构,自己解析。except 分支只在没有开启结构化输出、或服务商没有同类功能时才有用;开启之后可以删掉。

import json

def evaluate(task: str, draft: str) -> dict:
    system = RUBRIC + '\n返回 JSON:{"verdict": "PASS|NEEDS_IMPROVEMENT|FAIL", "issues": ["..."]}'
    raw = call_model(system, f"客户请求:\n{task}\n\n草稿:\n{draft}")
    try:
        return json.loads(raw)
    except json.JSONDecodeError:
        return {"verdict": "FAIL", "issues": ["评估器返回了无法解析的输出"]}

**检查:**打印 10 封邮件的 verdict。自己解析时,损坏的 JSON 会落进 except 分支,邮件转交给人处理,循环不会崩溃。

第 4 步:加上模型无法辩驳的硬性检查

模型能否自我纠错,研究上仍无定论。Madaan 等人的 Self-Refine 表明,LLM 对自己的输出给出反馈再加以修改,可以在多轮中逐步改进。

但论文“Large Language Models Cannot Self-Correct Reasoning Yet”发现,没有外部反馈时,LLM 很难纠正自己的答案,有时还会改得更糟。

评审者也有偏见。另一项研究记录到 GPT-4 在评分时存在明显的自我偏好,并发现 LLM 给自己熟悉的文本(以低困惑度衡量)打的分明显高于人类。

所以,能用代码衡量的标准,就交给代码。例子中的第 1 条和第 4 条正属于此类:

def hard_checks(draft: str, order_id: str) -> list[str]:
    issues = []
    if order_id not in draft:
        issues.append(f"缺少订单号 {order_id}。")
    if len(draft.split()) > 120:
        issues.append("邮件超过 120 个词。")
    return issues

另外两条标准,可以换一个模型来评分,至少也要在几十封邮件上把它的评分和人工评分对比一下。

第 5 步:循环停止的四种方式

这正是原模式留白的部分。一篇 2026 年的预印本把“何时停止”视为最优停止问题:只有预期改进值得付出成本时,才继续修改。下面的函数是这一思路的实用版本,有四个出口:通过、转交人工、停滞和轮数用尽。

MAX_ROUNDS = 3

def run(task: str, order_id: str):
    feedback, history = "", []
    for round_no in range(1, MAX_ROUNDS + 1):
        draft = generate(task, feedback)
        verdict = evaluate(task, draft)
        hard = hard_checks(draft, order_id)
        issues = hard + verdict.get("issues", [])
        history.append({"round": round_no, "draft": draft, "issues": issues})
        if verdict.get("verdict") == "PASS" and not hard:
            return draft, "pass", history
        if verdict.get("verdict") == "FAIL":
            return draft, "escalate", history
        if len(history) > 1 and issues == history[-2]["issues"]:
            return draft, "stalled", history
        feedback = "\n".join(issues)
    return draft, "max_rounds", history

成本很好算:MAX_ROUNDS = 3 时,最坏情况是 3 次生成加 3 次评分,每封邮件 6 次模型调用。stalled 分支是判断下一轮不会带来改进的最简单办法:如果问题列表和上一轮完全相同,继续修改只是在花钱。

把 FAIL 当作转交人工,是本指南特有的设计选择,因为原模式只在 PASS 时退出。这与 Anthropic 的描述一致:Agent 可以在检查点或遇到阻碍时暂停,等待人工反馈。一封从根本上就有问题的邮件,换个措辞也修不好。

**检查:**重新跑那 10 封样例邮件,统计每种停止原因各有多少封。如果大部分停在 max_rounds,问题通常出在评分标准或起草提示词上,而不是轮数不够。

常见错误

最常见的错误是评分标准含糊,比如“邮件必须礼貌、专业”。评估器只会给出泛泛的反馈,草稿反复换词却不见改进,循环一直跑到轮数用尽。

第二个错误是让模型的 PASS 凌驾于硬性检查之上:在上面的代码里,缺少订单号的邮件永远不可能从 pass 分支退出。

第三个错误是丢掉 history。这个列表能告诉你哪条标准让循环耗费的轮数最多,是修改提示词时最好的数据。

这项技能在客户现场是什么样子

在真实项目中,评分标准不是自己凭空想出来的。要和客服负责人坐下来,收集他们团队不得不修改过的邮件,把每一个修改理由变成一条可验证的标准。这是真正的客户需求调研,区别在于带回来的是一个 Python 函数。

汇报时,带一张停止原因统计表,而不是几份精修过的草稿。下面的数字只用来说明如何读这张表,沿用本指南的 10 封样例邮件,并非真实测量结果:

停止原因 邮件数 每封邮件的模型调用次数 调用总数
第 1 轮 pass 6 2 12
第 2 轮 pass 2 4 8
第 2 轮 stalled 1 4 4
第 1 轮 escalate 1 2 2

客户从这张表里能一眼看出三件事:10 封邮件中有 8 封自动通过,2 封连同反馈历史转到了人手里,整批共用 26 次调用,上限是 60 次。那封 stalled 的邮件值得打开 history 看看:如果它卡在缺少时间表上,可能是退款政策根本没写进提示词。

如果想把这段经历写进简历,不要写“构建了一个自我纠错 Agent”。要写设计了一个带轮数上限和人工转交的评分修正循环,并附上第一轮通过的邮件占比。面试时,要准备好讲清系统的边界:它何时停止,停止后由谁接手。

客户不会问你的模型改邮件改得多好。他们会问改不好时怎么办,你的 run 函数需要事先准备好答案。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 3: AI 应用给 Agent 接上 80 个工具,它更容易选错少数核心工具常驻上下文,其余按统一前缀分组,任务需要时再让 Agent 搜索。