Agent 真正的评测集,上线后才在 trace 里出现
上线前的测试只覆盖你设想的问题,拼写错误、整封粘贴的邮件和一句两问,都在生产环境的 trace 里。
要点速览
- 上线前手写的测试反映的是你预期的用户行为。上线后,只有 trace 能告诉你 Agent 实际做了什么。
- 流程:抽样 trace(始终保留一部分随机样本),人工标注,做错误分析,归纳为切片,再转成测试用例。
- 只为真实数据中出现过的失败编写评估器,并通过阅读对话记录判断评分器打分是否正确。
上线两周后,Agent 的评测套件依然全部通过。随后,客户的运营负责人发来一张截图:Agent 回答得很自信,语气也得体,内容却完全错了。你的测试套件里从来没有出现过类似的问题。
如果评测套件只在上线前编写,这种情况并不意外。套件本身没有坏,只是它为想象中的用户而写,而真实用户问的是另一些东西。
这里需要的能力不是更快地写更多测试,而是把客户的生产 trace 变成真正的评测集,并持续重复这一过程,直到项目交接。
为什么上线前的测试套件总有偏差?
Braintrust 把问题说得很直白:手写测试用例时,评测集会偏向你预期的用户行为,而不是用户的实际行为。你写下的,是你能想到的问题。
真实用户会拼错字,会把整封邮件粘贴进来,会在一句话里问两件事,还会拿产品去做没人设计过的任务。
正因如此,Anthropic 把生产环境监控视为上线后才开始的独立一层,用来发现分布漂移和没人预料到的真实失败。没人预料到的失败,不可能早已写在上线前的测试套件里。
对普通软件来说,读代码就能知道系统会做什么。Agent 不是这样:LangChain 的 Harrison Chase 认为,事实来源已经从代码转向 trace,也就是 Agent 实际行为的记录,而生产 trace 本身就成了你的评测数据集。
一个完整的循环
举个例子:你为一家零售连锁企业部署了一个处理退货申请的 Agent。它读取客户消息,通过工具查询订单,再决定批准、拒绝或转交人工。上线第一周产生了几千条 trace。
第 1 步:有意识地抽样,但始终保留一部分随机样本。 Hamel Husain 和 Shreya Shankar 建议每一批都放入一些随机选取的 trace。如果只读被标记的 trace(用户点了“不满意”,或工具返回错误),你只会看到本来就很显眼的失败。随机样本才是暴露静默失败的地方。
import random
def sample_batch(all_traces, flagged, n=50, random_share=0.3):
# random_share 为示例值,请根据项目调整
k_random = int(n * random_share)
picked = random.sample(all_traces, k_random)
picked_ids = {t["id"] for t in picked}
rest = [t for t in flagged if t["id"] not in picked_ids]
return picked + rest[: n - k_random]
第 2 步:先人工标注,暂时别用机器。 Husain 和 Shankar 规定,在参考 Agent 给出的建议之前,至少人工标注 30 条 trace。每条 trace 写一行简短说明,记下 Agent 最先出错的地方,例如“调用订单查询工具时用了电话号码,而不是订单号”。这时还不需要分类。
这是大多数人最想跳过的一步。但两位作者认为,错误分析是评测中最重要的工作。后面的一切,都取决于这 30 行笔记的质量。
第 3 步:归纳模式,再排序。 Braintrust 建议把生产数据中的每个重要模式都当作候选评测切片,并从三个维度排优先级:数量、严重程度和回归风险。下表是退货 Agent 的一个假设示例:
| 模式(假设) | 数量 | 严重程度 | 回归风险 |
|---|---|---|---|
| 客户在一条消息里发了多个订单号,Agent 只处理第一个 | 高 | 中 | 高,修改提示词时容易复发 |
| 为超出政策期限的订单批准退货 | 低 | 很高,造成真实的资金损失 | 中 |
| 面对恼火的客户,回复语气过于生硬 | 中 | 低 | 低 |
第二个模式很少见,却排在最前面,因为一次失误就会造成真实的资金损失。这张表也可以带到客户会议上,与客户一起商定修复顺序。
第 4 步:把 trace 转成测试用例。 Anthropic 建议把用户报告的失败转成测试用例,让评测集反映产品的实际使用方式。原始输入要原样保留,包括拼写错误,并清楚写明正确行为:
case = {
"id": "return-expired-policy-017",
"source_trace": "trace_8f2c...",
"slice": "expired_policy",
"input": "CUSTOMER_ORIGINAL_MESSAGE(原样保留)",
"tool_state": {"order_date": "...", "policy_days": "..."},
"expected": "拒绝或转交人工,不得自动批准",
}
第 5 步:编写评估器,再检验评估器本身。 Husain 和 Shankar 的原则是:为已经发现的失败编写评估器,而不是为想象中的失败。“批准过期订单”这个模式可以用普通代码检查,比较订单日期和政策期限即可。“语气过于生硬”这个模式大概需要用 LLM 做评分器。
评分器也会出错。Anthropic 明确指出,不读多次运行的对话记录和分数,你就无法知道评分器是否可靠。最简单的办法,是把评分器的打分和你在第 2 步的标注放在一起对比:
def check_grader(rows):
# rows: [{"trace_id": ..., "human": "pass"/"fail", "grader": "pass"/"fail"}]
disagree = [r for r in rows if r["human"] != r["grader"]]
agreement = 1 - len(disagree) / len(rows)
return agreement, disagree # 逐条重读每个有分歧的 trace 的对话记录
一致率只能告诉你有没有问题。真正需要阅读的是 disagree 列表:打开每一条对话记录,看评分器错在哪里,先修好评分器,再相信它给出的任何数字。
常见陷阱
第一个陷阱,是把上线前的套件当成定稿,只有在有人投诉时才补充用例。Anthropic 提醒,主要依赖用户来发现失败,伤害的正是这些用户。对前线部署工程师(FDE)来说,代价还包括客户方项目发起人的信任。
第二个陷阱,是只读被标记的 trace。这看起来高效,实际上只衡量了会让用户去点按钮的那类失败,却漏掉了 Agent 顺畅地答错的情况。
第三个陷阱,是一开始就让 LLM 给失败分类。如果你自己读的 trace 还不够多,就没有基准来判断机器的建议对不对。第四个陷阱与之相伴:为头脑风暴中听起来合理的风险构建一堆评估器,而真实数据从未出现过这些问题。
把这项能力变成求职优势
阅读 FDE 岗位或面向客户的 AI 工程师岗位描述时,留意“production monitoring”“error analysis”“eval dataset from traces”这类说法。看到它们时,准备好一个来自你自己项目的故事,讲讲类似上面的循环。
简历上不要只写“搭建了评测系统”。描述一个循环:标注了多少条 trace,发现了哪些模式,如何排优先级,新增了多少条回归测试。面试时,细讲一个具体的失败模式,比任何关于评测的定义都更有说服力。
上线不是评测工作的终点。从那天起,客户开始告诉你,你的评测集还缺什么。
这篇文章对你有帮助吗?
感谢你的反馈!
4 个信源
- Demystifying evals for AI agents · 2026-01-09
- Agent observability powers agent evaluation · 2026-01-27
- How to analyze AI agent usage patterns to build eval datasets (2026) · 2026-06-17
- AI Evals: Everything You Need to Know – Hamel's Blog · 2026-09-18