一致率 90% 的评判模型,却一个错误答案都没抓到
评测数字要赢得客户信任,评判模型须按客户最好的领域专家校准,并分别衡量 TPR 与 TNR。
要点速览
- 把构建评判模型当作一个小型机器学习项目:专家标注是真值,评判提示词是需要多轮调优的对象。
- 按通过/不通过打分,分别衡量 TPR 和 TNR。失败案例稀少时,总体一致率很容易误导。
- 校准从来不是一次性的:每周安排人工复核 50 到 100 条 trace,优先看疑难和边界案例。
假设你有 100 条 Agent 输出的答案。客户的专家把其中 10 条标为不通过,你的评判模型却把 100 条全标为通过。一致率 90%,看上去还不错,可评判模型一条错误答案都没抓到。
Hamel Husain 直言了这个陷阱:失败案例稀少时,一致率可能误导人。Anthropic 在关于 Agent 评测的指南中也指出,基于 LLM 的评判模型必须与人类专家紧密校准。
下面五个步骤,从收集专家标注开始,一直做到客户可以据以决策的可靠评判模型。
对想成为前线部署工程师(FDE)的人来说,这是值得尽早掌握的技能。某家保险公司的理赔评估流程,不太可能有现成的公开基准。最有价值的标尺,是客户那边最懂行的人的判断;你的任务是把这种判断变成一个自动运行的评判模型。
要做出什么,需要准备什么
做完之后你会得到三样东西:一份带评语的通过/不通过标注文件、一个二元评判提示词,以及一个对照人工标注计算评判模型 TPR 和 TNR 的脚本。Evidently AI 把构建 LLM 评判模型形容为一个小型机器学习项目。这个说法很准确:有标注数据,有模型,还有评估与迭代的循环。
你需要 Python、通过现有 API 调用 LLM 的能力,以及最重要的:领域专家的时间。下面的代码为演示做了精简。call_llm 函数只是你真实客户端的占位符,不是任何特定库的 API。
第 1 步:找到那个有权说“够好了”的人
Hamel Husain 建议确定一位首席领域专家,并尽早让这个人参与进来。选一个人,而不是一个委员会。设想一个回答客户保险条款问题的聊天机器人:合适的人选可能是核保团队负责人,也就是部门里遇到难办案例时大家都去问的那个人。
然后抽样 trace。Braintrust 建议从每周 50 到 100 条 trace 开始,优先选重要样本和边界案例。不要随手抽一批简单案例,因为评判模型恰恰会在你没看的地方出错。
失败案例稀少时,要刻意多抽你怀疑会失败的 trace,比如客户投诉过的答案,或涉及复杂保单条款的问题。一个只有几十条 trace、其中仅一两条失败的测试集,算出的 TNR 会随每个案例剧烈波动,甚至根本算不出来。
第 2 步:专家判定通过/不通过并写评语
Hamel 建议抛弃复杂的评分量表,只保留一个清晰的通过或不通过判定。Evidently 也观察到,无论对 LLM 还是人工评分者,二元评分往往更稳定、更一致。1–10 分制听上去更细,但专家的“6 分”和评判模型的“6 分”很少是同一个意思。
最有价值的是评语。按 Hamel 的说法,评语应详细到可以直接放进评判模型的 few-shot 提示词。每条 trace 存为一行 JSONL(这里的示例来自一个越南保险聊天机器人;评语指出答案回答了“是”,却漏掉了等待期条件,客户会误解自己的保障):
{"id": "t017", "input": "这份保单在……时会赔付吗?", "output": "会,……", "label": "fail", "critique": "回答“会”,却漏掉了等待期条件;客户会误解自己的保障。"}
这一步之后要检查:随机重读 10 条评语。如果你看不出某个答案为什么不通过,评判模型也看不出来。趁专家还记得,马上回去找他。
第 3 步:围绕评分标准编写评判提示词
Anthropic 建议为任务的每个维度建立清晰、结构化的评分标准。结合二元原则,每个维度变成一个是/否问题,最终结论是通过或不通过。把下面精简后的提示词保存为 judge_prompt.txt。它告诉模型正在给一个保险助手打分,提出两条是/否标准(答案是否正确说明了条款的适用条件;是否避免承诺合同以外的保障),提供已评分的示例,并要求输出 JSON:
你正在为一个保险助手的回答打分。
标准(每条标准:YES/NO):
1. 是否正确说明了条款的适用条件?
2. 是否避免承诺保单以外的保障?
已评分示例:
{few_shot_critiques}
问题:{input}
回答:{output}
返回 JSON:{"critique": "...", "label": "pass" | "fail"}
让评判模型先写评语,再给标签。评判模型出错时,它的评语能告诉你它误读了哪条标准。凡是用作 few-shot 示例的 trace,都必须从测试集中移除,就像区分训练集和测试集一样;否则数字会虚高。
第 4 步:把评判模型的标签和人工标签放在一起
现在开始衡量。在未用作 few-shot 示例的 trace 上运行评判模型,在每一行记录它的标签,然后分别计算两个数字,而不是一个总体一致率。这正是 Evidently 所说的对齐:把评判输出与人工标注的真值对比。Braintrust 同样把人工评分视为校准 LLM 评分器的真值。
import json
def call_llm(prompt): # 替换为真实客户端;返回 JSON 字符串
raise NotImplementedError
TEMPLATE = open("judge_prompt.txt", encoding="utf-8").read()
FEW_SHOT = open("few_shot.txt", encoding="utf-8").read()
def run_judge(rows):
for r in rows:
prompt = (TEMPLATE.replace("{few_shot_critiques}", FEW_SHOT)
.replace("{input}", r["input"])
.replace("{output}", r["output"]))
result = json.loads(call_llm(prompt))
r["judge"] = result["label"]
r["judge_critique"] = result["critique"]
return rows
def rate(hit, total):
return hit / total if total else None # 避免除以零
def metrics(rows):
tp = sum(r["label"] == "pass" and r["judge"] == "pass" for r in rows)
tn = sum(r["label"] == "fail" and r["judge"] == "fail" for r in rows)
pos = sum(r["label"] == "pass" for r in rows)
neg = sum(r["label"] == "fail" for r in rows)
return {"TPR": rate(tp, pos), "TNR": rate(tn, neg)}
rows = [json.loads(line) for line in open("test.jsonl", encoding="utf-8")]
print(metrics(run_judge(rows)))
(两处注释分别是“替换为真实客户端,返回 JSON 字符串”和“避免除以零”。)脚本用 replace 而不是 str.format,因为提示词里已经有 JSON 的花括号。生产版本应处理模型返回非 JSON 内容的情况,这里为简洁起见省略。如果 TNR 返回 None,说明测试集里没有失败案例:这是回到第 1 步多抽失败案例的信号,而不是评判模型完美的证据。
真正例率(TPR)是专家判为通过的案例中,评判模型也判为通过的比例。真负例率(TNR)是专家判为不通过的案例中,评判模型也判为不通过的比例。回到开头的例子:把 100 条答案全判为通过的评判模型,TPR 为 100%,TNR 为 0%,被 90% 一致率掩盖的问题立刻暴露。
第 5 步:迭代提示词,直到没有意外
每一轮,筛出评判模型与专家意见不一致的案例,逐条阅读 judge_critique。精确修正被误解的那条标准,或针对这类错误补充一个 few-shot 示例,然后重跑整个测试集。
Evidently 把这描述为像调优产品提示词一样调优评判模型;Anthropic 也承认,基于模型的评分往往需要仔细迭代,才能验证其准确性。
如果反复修改提示词,结果仍然波动,就该看看模型本身。Confident AI 指出,在 GEval 这类传统指标上,较弱的模型难以给出可靠结果。另一个选择是 DeepEval 的 DAG 指标,据称由于采用由 LLM 执行的决策树结构,结果完全确定。
由多条是/否标准组成的评分标准,已经很接近这种做法。
和客户一起做时的三个常见错误
最常见的错误是只报告一个一致率数字,前面已经演示过。第二个错误是因为“更快”而让工程师代替专家标注。结果评判模型校准的是你,而不是客户信任的那个人。
第三个错误是把校准当作一次性工作。客户的业务在变,新类型的问题不断出现,曾经匹配良好的评判模型会逐渐漂移。
Anthropic 表示,针对研究型 Agent 这类主观任务的 LLM 评分标准,需要经常对照专家判断进行校准;SuperAnnotate 则认为,在模糊案例上应由人工评审拍板,并由他们持续完善评分标准。
所以,从第一次会议起,就和专家约定每周复核 50 到 100 条 trace。
这项技能写进简历是什么样子?
阅读 FDE 或解决方案工程师的岗位描述时,留意“evals”“LLM-as-judge”“human-in-the-loop”“work with domain experts”这类表述。简历上不要写“有评测经验”。
可以这样写:为某领域聊天机器人构建通过/不通过评判模型,在 N 条 trace 上按核保负责人的标注校准,经过 K 轮迭代将 TNR 从 X 提升到 Y。
这样一行字能让招聘方看到你具备 FDE 需要的三种能力:与客户的人协作、衡量正确的东西、迭代到数字可信为止。第一次和客户开工作会时,别一上来就演示评判模型。先问问:遇到难办的案例,部门里大家都去找谁?
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Demystifying evals for AI agents · 2026-01-09
- LLM-as-a-judge: a complete guide to using LLMs for evaluations · 2026-05-19
- How to run human-in-the-loop evals for LLM apps · 2026-04-09
- Creating a LLM-as-a-Judge That Drives Business Results · 2024-10-29
- How I Built Deterministic LLM Evaluation Metrics for DeepEval
- LLM-as-a-judge vs. human evaluation: Why together is better · 2025-11-12