# 第一套评测集只需 50 道题和一个下午

> Python 分步指南：从真实失败中取样，用 pytest 判定通过与否，再拿人工标注校验 LLM 裁判。

原文: https://fdetimes.net/zh/guides/build-50-case-eval-python-qa-assistant/

据 Anthropic Engineering 介绍，从真实失败中抽取 20-50 个简单任务，对评测集来说已经是很好的开端。不需要成千上万个样本，也不需要昂贵的评测平台。这个数字说明，第一套评测集的门槛远比许多人想的低：主要成本只是一个下午的编写时间。

对前线部署工程师（FDE）来说，这个下午比任何演示都值钱。客户问“新提示词是不是更好”时，“好像更好”说服不了任何人。一张列出 50 道题改动前后通过率的表格才能。

本指南以一个基于内部文档回答问题的助手为例，一步步用 Python 搭建包含 50 个样本的评测集。你需要 Python 3、pytest，以及一个调用助手的 `answer(question)` 函数。下面的代码是教学用的精简版，不是完整框架。

## 第 1 步：什么叫“好答案”？

Anthropic 的文档建议把成功标准写具体。它举的例子是把“性能好”换成“情感分类准确”。标准还必须可衡量，要么用量化指标，要么用定义清晰的定性等级。

对问答助手，不要写“回答得好”。可以写下三条标准，例如：答案包含文档中的正确事实；文档没有相关信息时不编造；不回答超出范围的问题。每条标准都必须能用“是”或“否”回答。

这一步的检查：把三条标准交给一位同事。如果对方问“什么算正确？”，说明标准还不够清楚。

## 第 2 步：50 个样本从哪里来？

最好的来源是真实失败：日志、工单、用户的投诉消息。Anthropic 强调，评测集应反映任务的真实分布，同时不能遗漏边界情况。如果 70% 的真实问题与休假政策有关，一套全是薪资问题的评测集测不出用户真正需要什么。

平衡同样重要。Anthropic Engineering 提醒，片面的评测会导致片面的优化。如果 50 道题全都有答案，你会在不知不觉中奖励一个无论知不知道都硬要回答的助手。

一种可供参考的分配方式，请按自己的真实数据调整：约 30 道在文档中有明确答案的题，10 道边界情况，如含义模糊、有错别字或句子中途切换语言的问题，以及 10 道助手必须表明没有相关信息的题。

每个样本都必须通过 Anthropic Engineering 提出的检验：两位领域专家各自独立评分，必须得出相同的通过或不通过结论。两人仍有争议的题，应改写或删除。

## 第 3 步：把样本写入 JSONL 文件

每行一个样本。`grader` 字段说明该样本由代码评分还是由模型评分。

```json
{"id": "q01", "question": "How many days of annual leave do permanent employees get?", "must_contain": ["12 days"], "grader": "code"}
{"id": "q41", "question": "Does the company support MBA tuition?", "expect_refusal": true, "grader": "code"}
{"id": "q47", "question": "Summarize the process for requesting unpaid leave", "reference": "Submit a request to your direct manager...", "grader": "model"}
```

以上问题均为虚构示例。这一步的检查：总行数正好是 50，且没有重复的 `id`。

## 第 4 步：代码能评分的部分交给 pytest

Anthropic 更倾向于能自动评分的问题，通过字符串匹配或代码判断。它的理由是：与其有少量精心人工评分的题，不如有大量自动评分的题，哪怕每道题的精度略低。

Hamel Husain 同样把 LLM 评测的第一层描述为简单的断言，很像写 pytest。

```python
# test_eval.py — 精简版
import json
import pytest
from assistant import answer  # 调用你的助手的函数

with open("eval_50.jsonl", encoding="utf-8") as f:
    CASES = [json.loads(line) for line in f if line.strip()]

CODE_CASES = [c for c in CASES if c["grader"] == "code"]
REFUSAL_MARKERS = ["no information", "not found"]

@pytest.mark.parametrize("case", CODE_CASES, ids=lambda c: c["id"])
def test_code_graded(case):
    out = answer(case["question"]).lower()
    if case.get("expect_refusal"):
        assert any(m in out for m in REFUSAL_MARKERS)
    else:
        for s in case["must_contain"]:
            assert s.lower() in out
```

运行 `pytest test_eval.py -q`。每个样本按 `id` 显示为一个独立的测试，哪道题失败一眼就能看到。每个结果只有通过或不通过。Husain 发现，用细分等级打分比二元判定难管理得多。

## 第 5 步：自由作答需要裁判

“总结流程”这类问题无法用字符串匹配。Evidently AI 的 LLM-as-a-judge 指南使用二元裁判，把每个答案判为对或错，并要求裁判附上解释。Anthropic 的文档也建议用与生成答案不同的模型来评分。

```python
JUDGE_PROMPT = """问题：{q}
参考答案：{ref}
待评答案：{out}
待评答案在实质内容上是否与参考答案一致？
返回 JSON：{{"verdict": "PASS" 或 "FAIL", "reason": "一句话"}}"""

def judge(case, out):
    prompt = JUDGE_PROMPT.format(q=case["question"], ref=case["reference"], out=out)
    raw = call_judge_model(prompt)  # 占位函数：调用一个与助手不同的模型
    return json.loads(raw)
```

`call_judge_model` 需要你用所用服务商的 SDK 自行编写。这一步的检查：任选五道题，读一读 `reason` 字段。如果解释说不通，通常说明裁判提示词还没写对。

## 第 6 步：裁判也需要评分

这是最常被跳过的一步。Evidently AI 的方法很明确：把你的人工标注当作真实标签，把 LLM 的标注当作预测，然后像评估分类器那样对比两者。

```python
human = ["PASS", "FAIL", "PASS", ...]   # 你人工评分
judged = ["PASS", "PASS", "PASS", ...]  # 裁判对同一批题的评分
agree = sum(h == j for h, j in zip(human, judged)) / len(human)
false_pass = sum(h == "FAIL" and j == "PASS" for h, j in zip(human, judged))
print(agree, false_pass)
```

重点关注 `false_pass`：被裁判放过的错误答案是最危险的一类错误。为了快速人工评分，Husain 强调要消除查看数据时的一切阻力。把问题、答案、判定和理由导出为 CSV 文件，用电子表格打开，就足以起步。

**要点:** 没有与人工标注对比过的裁判，只是又一个你没验证过的模型。

## 修复提示词后，计分板是什么样？

看一次假设的运行。原始提示词得分 31/50。你加了一条指令：如果文档中没有相关信息，就直接说明，不要推测答案。两部分重新运行后，计分板如下：

```text
# 假设数据，仅作示意
                   修改前   修改后
代码评分（40 题）  26/40    31/40
模型评分（10 题）   5/10     7/10
合计               31/50    38/50
```

先别急着把 38/50 写进报告。你对裁判评分的 10 道题重新人工评分，发现一个 `false_pass`：

```text
q47  裁判：PASS   你：FAIL
裁判理由：“正确说明了向直属经理提交申请这一步骤。”
实际错误：答案编造了一个文档中没有的额外审批步骤
```

因此模型评分组的真实成绩是 6/10，诚实的数字是 37/50。这次提示词修复仍然是明确的进步，但你还多了解了一点：裁判提示词需要明确要求检查多出来的细节，而不只是遗漏的细节。

## 让评测集失去价值的三个错误

第一是自己编问题，而不是从日志中取。工程师写的问题往往比真实用户输入的更规整、更简单，于是通过率好看，却说明不了什么。

第二是漏掉助手应拒绝回答的问题。没有这一组，每次让助手变得“更大胆”的提示词改动看起来都像进步。第三是用助手自己的模型当裁判，而且从不拿裁判与人工标注对比。

## 在客户现场，评测集就是合同

在真实部署中，这 50 道题应与客户方的人员一起编写，因为他们才是有资格判定哪些答案通过的“领域专家”。双方一旦就题目集达成一致，每一次“机器人最近变差了”的争论，就变成一起查看哪道题刚从通过变成了不通过。

本指南中的三个组成部分，也正是 Anthropic Engineering 所说常被组合使用的三类评分方式：代码、模型和人工。如果你的目标是 FDE 岗位，可以把这样一个小仓库放到 GitHub 上，在 README 中展示提示词修复前后的计分板，以及你发现的那个 `false_pass` 案例。

阅读岗位描述时，搜索“evaluation”或“LLM-as-a-judge”等关键词，看该岗位是否需要这项技能，然后把这个仓库放在简历项目部分的最前面。

下次有人问新版本是不是更好，你不必再猜。运行评测集，答案就在那里。

**本周动手试试:**

- 翻一翻你负责的问答助手的日志或工单，摘出 20 道它答错的问题，并为每道题写一份参考答案。
- 用 pytest.mark.parametrize 写一个 test_eval.py 文件，运行 pytest -q，把通过率记作基线。
- 人工评分 20 个答案，再让 LLM 裁判给同样的 20 个答案评分，然后数一数两者有多少道题意见不一致。

## 信源

- [Define success criteria and build evaluations](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)

- [Demystifying evals for AI agents](https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/)

- [Wrong but useful: an LLM-as-a-judge tutorial](https://www.evidentlyai.com/blog/llm-as-a-judge-tutorial)
