# 一致率 90% 的评判模型，却一个错误答案都没抓到

> 评测数字要赢得客户信任，评判模型须按客户最好的领域专家校准，并分别衡量 TPR 与 TNR。

原文: https://fdetimes.net/zh/guides/calibrate-llm-judge-expert-labels/

假设你有 100 条 Agent 输出的答案。客户的专家把其中 10 条标为不通过，你的评判模型却把 100 条全标为通过。一致率 90%，看上去还不错，可评判模型一条错误答案都没抓到。

Hamel Husain 直言了这个陷阱：失败案例稀少时，一致率可能误导人。Anthropic 在关于 Agent 评测的指南中也指出，基于 LLM 的评判模型必须与人类专家紧密校准。

下面五个步骤，从收集专家标注开始，一直做到客户可以据以决策的可靠评判模型。

对想成为前线部署工程师（FDE）的人来说，这是值得尽早掌握的技能。某家保险公司的理赔评估流程，不太可能有现成的公开基准。最有价值的标尺，是客户那边最懂行的人的判断；你的任务是把这种判断变成一个自动运行的评判模型。

## 要做出什么，需要准备什么

做完之后你会得到三样东西：一份带评语的通过/不通过标注文件、一个二元评判提示词，以及一个对照人工标注计算评判模型 TPR 和 TNR 的脚本。Evidently AI 把构建 LLM 评判模型形容为一个小型机器学习项目。这个说法很准确：有标注数据，有模型，还有评估与迭代的循环。

你需要 Python、通过现有 API 调用 LLM 的能力，以及最重要的：领域专家的时间。下面的代码为演示做了精简。`call_llm` 函数只是你真实客户端的占位符，不是任何特定库的 API。

## 第 1 步：找到那个有权说“够好了”的人

Hamel Husain 建议确定一位首席领域专家，并尽早让这个人参与进来。选一个人，而不是一个委员会。设想一个回答客户保险条款问题的聊天机器人：合适的人选可能是核保团队负责人，也就是部门里遇到难办案例时大家都去问的那个人。

然后抽样 trace。Braintrust 建议从每周 50 到 100 条 trace 开始，优先选重要样本和边界案例。不要随手抽一批简单案例，因为评判模型恰恰会在你没看的地方出错。

失败案例稀少时，要刻意多抽你怀疑会失败的 trace，比如客户投诉过的答案，或涉及复杂保单条款的问题。一个只有几十条 trace、其中仅一两条失败的测试集，算出的 TNR 会随每个案例剧烈波动，甚至根本算不出来。

## 第 2 步：专家判定通过/不通过并写评语

Hamel 建议抛弃复杂的评分量表，只保留一个清晰的通过或不通过判定。Evidently 也观察到，无论对 LLM 还是人工评分者，二元评分往往更稳定、更一致。1–10 分制听上去更细，但专家的“6 分”和评判模型的“6 分”很少是同一个意思。

最有价值的是评语。按 Hamel 的说法，评语应详细到可以直接放进评判模型的 few-shot 提示词。每条 trace 存为一行 JSONL（这里的示例来自一个越南保险聊天机器人；评语指出答案回答了“是”，却漏掉了等待期条件，客户会误解自己的保障）：

```json
{"id": "t017", "input": "这份保单在……时会赔付吗？", "output": "会，……", "label": "fail", "critique": "回答“会”，却漏掉了等待期条件；客户会误解自己的保障。"}
```

这一步之后要检查：随机重读 10 条评语。如果你看不出某个答案为什么不通过，评判模型也看不出来。趁专家还记得，马上回去找他。

## 第 3 步：围绕评分标准编写评判提示词

Anthropic 建议为任务的每个维度建立清晰、结构化的评分标准。结合二元原则，每个维度变成一个是/否问题，最终结论是通过或不通过。把下面精简后的提示词保存为 `judge_prompt.txt`。它告诉模型正在给一个保险助手打分，提出两条是/否标准（答案是否正确说明了条款的适用条件；是否避免承诺合同以外的保障），提供已评分的示例，并要求输出 JSON：

```text
你正在为一个保险助手的回答打分。
标准（每条标准：YES/NO）：
1. 是否正确说明了条款的适用条件？
2. 是否避免承诺保单以外的保障？
已评分示例：
{few_shot_critiques}
问题：{input}
回答：{output}
返回 JSON：{"critique": "...", "label": "pass" | "fail"}
```

让评判模型先写评语，再给标签。评判模型出错时，它的评语能告诉你它误读了哪条标准。凡是用作 few-shot 示例的 trace，都必须从测试集中移除，就像区分训练集和测试集一样；否则数字会虚高。

## 第 4 步：把评判模型的标签和人工标签放在一起

现在开始衡量。在未用作 few-shot 示例的 trace 上运行评判模型，在每一行记录它的标签，然后分别计算两个数字，而不是一个总体一致率。这正是 Evidently 所说的对齐：把评判输出与人工标注的真值对比。Braintrust 同样把人工评分视为校准 LLM 评分器的真值。

```python
import json

def call_llm(prompt):  # 替换为真实客户端；返回 JSON 字符串
    raise NotImplementedError

TEMPLATE = open("judge_prompt.txt", encoding="utf-8").read()
FEW_SHOT = open("few_shot.txt", encoding="utf-8").read()

def run_judge(rows):
    for r in rows:
        prompt = (TEMPLATE.replace("{few_shot_critiques}", FEW_SHOT)
                          .replace("{input}", r["input"])
                          .replace("{output}", r["output"]))
        result = json.loads(call_llm(prompt))
        r["judge"] = result["label"]
        r["judge_critique"] = result["critique"]
    return rows

def rate(hit, total):
    return hit / total if total else None  # 避免除以零

def metrics(rows):
    tp = sum(r["label"] == "pass" and r["judge"] == "pass" for r in rows)
    tn = sum(r["label"] == "fail" and r["judge"] == "fail" for r in rows)
    pos = sum(r["label"] == "pass" for r in rows)
    neg = sum(r["label"] == "fail" for r in rows)
    return {"TPR": rate(tp, pos), "TNR": rate(tn, neg)}

rows = [json.loads(line) for line in open("test.jsonl", encoding="utf-8")]
print(metrics(run_judge(rows)))
```

（两处注释分别是“替换为真实客户端，返回 JSON 字符串”和“避免除以零”。）脚本用 `replace` 而不是 `str.format`，因为提示词里已经有 JSON 的花括号。生产版本应处理模型返回非 JSON 内容的情况，这里为简洁起见省略。如果 TNR 返回 `None`，说明测试集里没有失败案例：这是回到第 1 步多抽失败案例的信号，而不是评判模型完美的证据。

真正例率（TPR）是专家判为通过的案例中，评判模型也判为通过的比例。真负例率（TNR）是专家判为不通过的案例中，评判模型也判为不通过的比例。回到开头的例子：把 100 条答案全判为通过的评判模型，TPR 为 100%，TNR 为 0%，被 90% 一致率掩盖的问题立刻暴露。

**要点:** 对客户来说，TNR 通常是更重要的数字：它告诉客户，专家能抓到的错误中，评判模型也能抓到多少。

## 第 5 步：迭代提示词，直到没有意外

每一轮，筛出评判模型与专家意见不一致的案例，逐条阅读 `judge_critique`。精确修正被误解的那条标准，或针对这类错误补充一个 few-shot 示例，然后重跑整个测试集。

Evidently 把这描述为像调优产品提示词一样调优评判模型；Anthropic 也承认，基于模型的评分往往需要仔细迭代，才能验证其准确性。

如果反复修改提示词，结果仍然波动，就该看看模型本身。Confident AI 指出，在 GEval 这类传统指标上，较弱的模型难以给出可靠结果。另一个选择是 DeepEval 的 DAG 指标，据称由于采用由 LLM 执行的决策树结构，结果完全确定。

由多条是/否标准组成的评分标准，已经很接近这种做法。

## 和客户一起做时的三个常见错误

最常见的错误是只报告一个一致率数字，前面已经演示过。第二个错误是因为“更快”而让工程师代替专家标注。结果评判模型校准的是你，而不是客户信任的那个人。

第三个错误是把校准当作一次性工作。客户的业务在变，新类型的问题不断出现，曾经匹配良好的评判模型会逐渐漂移。

Anthropic 表示，针对研究型 Agent 这类主观任务的 LLM 评分标准，需要经常对照专家判断进行校准；SuperAnnotate 则认为，在模糊案例上应由人工评审拍板，并由他们持续完善评分标准。

所以，从第一次会议起，就和专家约定每周复核 50 到 100 条 trace。

## 这项技能写进简历是什么样子？

阅读 FDE 或解决方案工程师的岗位描述时，留意“evals”“LLM-as-judge”“human-in-the-loop”“work with domain experts”这类表述。简历上不要写“有评测经验”。

可以这样写：为某领域聊天机器人构建通过/不通过评判模型，在 N 条 trace 上按核保负责人的标注校准，经过 K 轮迭代将 TNR 从 X 提升到 Y。

这样一行字能让招聘方看到你具备 FDE 需要的三种能力：与客户的人协作、衡量正确的东西、迭代到数字可信为止。第一次和客户开工作会时，别一上来就演示评判模型。先问问：遇到难办的案例，部门里大家都去找谁？

**本周动手试试:**

- 从你正在做的 LLM 应用中取 50 条 trace，请一位懂该领域的同事逐条标注通过/不通过并附简短评语，保存为 JSONL 文件。如果只能自己标注，就把它当作熟悉流程的练习，而不是用于校准评判模型的真实标注
- 刻意多抽你怀疑会失败的 trace，让测试集有足够的失败案例；然后用 3 条评语作为 few-shot 示例编写二元评判提示词，在剩下的 47 条 trace 上运行，并用本文的脚本计算 TPR 和 TNR
- 在简历上加一行带数字的描述：你的评判模型对照专家标注达到的 TPR/TNR，以及经过了几轮提示词调优

## 信源

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [LLM-as-a-judge: a complete guide to using LLMs for evaluations](https://www.evidentlyai.com/llm-guide/llm-as-a-judge)

- [How to run human-in-the-loop evals for LLM apps](https://www.braintrust.dev/articles/human-in-the-loop-evals-for-llm-apps)

- [Creating a LLM-as-a-Judge That Drives Business Results](https://hamel.dev/blog/posts/llm-judge/)

- [How I Built Deterministic LLM Evaluation Metrics for DeepEval](https://www.confident-ai.com/blog/how-i-built-deterministic-llm-evaluation-metrics-for-deepeval)

- [LLM-as-a-judge vs. human evaluation: Why together is better](https://www.superannotate.com/blog/llm-as-a-judge-vs-human-evaluation)
