第一套评测集只需 50 道题和一个下午
Python 分步指南:从真实失败中取样,用 pytest 判定通过与否,再拿人工标注校验 LLM 裁判。
要点速览
- Anthropic Engineering 认为,从真实失败中抽取 20-50 个简单任务就是不错的起点,因此第一套评测集定在 50 个样本比较合理。
- 优先使用自动评分和通过/不通过的二元判定;裁判要用与生成答案不同的模型。
- 信任 LLM 裁判之前,先把人工标注当作真实标签,再拿裁判的评分与之对比。
据 Anthropic Engineering 介绍,从真实失败中抽取 20-50 个简单任务,对评测集来说已经是很好的开端。不需要成千上万个样本,也不需要昂贵的评测平台。这个数字说明,第一套评测集的门槛远比许多人想的低:主要成本只是一个下午的编写时间。
对前线部署工程师(FDE)来说,这个下午比任何演示都值钱。客户问“新提示词是不是更好”时,“好像更好”说服不了任何人。一张列出 50 道题改动前后通过率的表格才能。
本指南以一个基于内部文档回答问题的助手为例,一步步用 Python 搭建包含 50 个样本的评测集。你需要 Python 3、pytest,以及一个调用助手的 answer(question) 函数。下面的代码是教学用的精简版,不是完整框架。
第 1 步:什么叫“好答案”?
Anthropic 的文档建议把成功标准写具体。它举的例子是把“性能好”换成“情感分类准确”。标准还必须可衡量,要么用量化指标,要么用定义清晰的定性等级。
对问答助手,不要写“回答得好”。可以写下三条标准,例如:答案包含文档中的正确事实;文档没有相关信息时不编造;不回答超出范围的问题。每条标准都必须能用“是”或“否”回答。
这一步的检查:把三条标准交给一位同事。如果对方问“什么算正确?”,说明标准还不够清楚。
第 2 步:50 个样本从哪里来?
最好的来源是真实失败:日志、工单、用户的投诉消息。Anthropic 强调,评测集应反映任务的真实分布,同时不能遗漏边界情况。如果 70% 的真实问题与休假政策有关,一套全是薪资问题的评测集测不出用户真正需要什么。
平衡同样重要。Anthropic Engineering 提醒,片面的评测会导致片面的优化。如果 50 道题全都有答案,你会在不知不觉中奖励一个无论知不知道都硬要回答的助手。
一种可供参考的分配方式,请按自己的真实数据调整:约 30 道在文档中有明确答案的题,10 道边界情况,如含义模糊、有错别字或句子中途切换语言的问题,以及 10 道助手必须表明没有相关信息的题。
每个样本都必须通过 Anthropic Engineering 提出的检验:两位领域专家各自独立评分,必须得出相同的通过或不通过结论。两人仍有争议的题,应改写或删除。
第 3 步:把样本写入 JSONL 文件
每行一个样本。grader 字段说明该样本由代码评分还是由模型评分。
{"id": "q01", "question": "How many days of annual leave do permanent employees get?", "must_contain": ["12 days"], "grader": "code"}
{"id": "q41", "question": "Does the company support MBA tuition?", "expect_refusal": true, "grader": "code"}
{"id": "q47", "question": "Summarize the process for requesting unpaid leave", "reference": "Submit a request to your direct manager...", "grader": "model"}
以上问题均为虚构示例。这一步的检查:总行数正好是 50,且没有重复的 id。
第 4 步:代码能评分的部分交给 pytest
Anthropic 更倾向于能自动评分的问题,通过字符串匹配或代码判断。它的理由是:与其有少量精心人工评分的题,不如有大量自动评分的题,哪怕每道题的精度略低。
Hamel Husain 同样把 LLM 评测的第一层描述为简单的断言,很像写 pytest。
# test_eval.py — 精简版
import json
import pytest
from assistant import answer # 调用你的助手的函数
with open("eval_50.jsonl", encoding="utf-8") as f:
CASES = [json.loads(line) for line in f if line.strip()]
CODE_CASES = [c for c in CASES if c["grader"] == "code"]
REFUSAL_MARKERS = ["no information", "not found"]
@pytest.mark.parametrize("case", CODE_CASES, ids=lambda c: c["id"])
def test_code_graded(case):
out = answer(case["question"]).lower()
if case.get("expect_refusal"):
assert any(m in out for m in REFUSAL_MARKERS)
else:
for s in case["must_contain"]:
assert s.lower() in out
运行 pytest test_eval.py -q。每个样本按 id 显示为一个独立的测试,哪道题失败一眼就能看到。每个结果只有通过或不通过。Husain 发现,用细分等级打分比二元判定难管理得多。
第 5 步:自由作答需要裁判
“总结流程”这类问题无法用字符串匹配。Evidently AI 的 LLM-as-a-judge 指南使用二元裁判,把每个答案判为对或错,并要求裁判附上解释。Anthropic 的文档也建议用与生成答案不同的模型来评分。
JUDGE_PROMPT = """问题:{q}
参考答案:{ref}
待评答案:{out}
待评答案在实质内容上是否与参考答案一致?
返回 JSON:{{"verdict": "PASS" 或 "FAIL", "reason": "一句话"}}"""
def judge(case, out):
prompt = JUDGE_PROMPT.format(q=case["question"], ref=case["reference"], out=out)
raw = call_judge_model(prompt) # 占位函数:调用一个与助手不同的模型
return json.loads(raw)
call_judge_model 需要你用所用服务商的 SDK 自行编写。这一步的检查:任选五道题,读一读 reason 字段。如果解释说不通,通常说明裁判提示词还没写对。
第 6 步:裁判也需要评分
这是最常被跳过的一步。Evidently AI 的方法很明确:把你的人工标注当作真实标签,把 LLM 的标注当作预测,然后像评估分类器那样对比两者。
human = ["PASS", "FAIL", "PASS", ...] # 你人工评分
judged = ["PASS", "PASS", "PASS", ...] # 裁判对同一批题的评分
agree = sum(h == j for h, j in zip(human, judged)) / len(human)
false_pass = sum(h == "FAIL" and j == "PASS" for h, j in zip(human, judged))
print(agree, false_pass)
重点关注 false_pass:被裁判放过的错误答案是最危险的一类错误。为了快速人工评分,Husain 强调要消除查看数据时的一切阻力。把问题、答案、判定和理由导出为 CSV 文件,用电子表格打开,就足以起步。
修复提示词后,计分板是什么样?
看一次假设的运行。原始提示词得分 31/50。你加了一条指令:如果文档中没有相关信息,就直接说明,不要推测答案。两部分重新运行后,计分板如下:
# 假设数据,仅作示意
修改前 修改后
代码评分(40 题) 26/40 31/40
模型评分(10 题) 5/10 7/10
合计 31/50 38/50
先别急着把 38/50 写进报告。你对裁判评分的 10 道题重新人工评分,发现一个 false_pass:
q47 裁判:PASS 你:FAIL
裁判理由:“正确说明了向直属经理提交申请这一步骤。”
实际错误:答案编造了一个文档中没有的额外审批步骤
因此模型评分组的真实成绩是 6/10,诚实的数字是 37/50。这次提示词修复仍然是明确的进步,但你还多了解了一点:裁判提示词需要明确要求检查多出来的细节,而不只是遗漏的细节。
让评测集失去价值的三个错误
第一是自己编问题,而不是从日志中取。工程师写的问题往往比真实用户输入的更规整、更简单,于是通过率好看,却说明不了什么。
第二是漏掉助手应拒绝回答的问题。没有这一组,每次让助手变得“更大胆”的提示词改动看起来都像进步。第三是用助手自己的模型当裁判,而且从不拿裁判与人工标注对比。
在客户现场,评测集就是合同
在真实部署中,这 50 道题应与客户方的人员一起编写,因为他们才是有资格判定哪些答案通过的“领域专家”。双方一旦就题目集达成一致,每一次“机器人最近变差了”的争论,就变成一起查看哪道题刚从通过变成了不通过。
本指南中的三个组成部分,也正是 Anthropic Engineering 所说常被组合使用的三类评分方式:代码、模型和人工。如果你的目标是 FDE 岗位,可以把这样一个小仓库放到 GitHub 上,在 README 中展示提示词修复前后的计分板,以及你发现的那个 false_pass 案例。
阅读岗位描述时,搜索“evaluation”或“LLM-as-a-judge”等关键词,看该岗位是否需要这项技能,然后把这个仓库放在简历项目部分的最前面。
下次有人问新版本是不是更好,你不必再猜。运行评测集,答案就在那里。
这篇文章对你有帮助吗?
感谢你的反馈!
4 个信源
- Define success criteria and build evaluations
- Demystifying evals for AI agents · 2026-01-09
- Your AI Product Needs Evals · 2024-03-29
- Wrong but useful: an LLM-as-a-judge tutorial · 2024-09-09