FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Agent 真正的评测集,上线后才在 trace 里出现

上线前的测试只覆盖你设想的问题,拼写错误、整封粘贴的邮件和一句两问,都在生产环境的 trace 里。

分享微博

要点速览

  • 上线前手写的测试反映的是你预期的用户行为。上线后,只有 trace 能告诉你 Agent 实际做了什么。
  • 流程:抽样 trace(始终保留一部分随机样本),人工标注,做错误分析,归纳为切片,再转成测试用例。
  • 只为真实数据中出现过的失败编写评估器,并通过阅读对话记录判断评分器打分是否正确。
横向五步示意图,上方有一条连续的生产 trace 色带。五步依次为:1 抽样(被标记的 trace 加一部分随机样本);2 在请求机器建议之前,人工标注至少 30 条 trace,以橙色突出;3 归纳模式,按数量、严重程度和回归风险排序;4 测试用例,保留原始输入并写明正确行为;5 检验评估器,把评分器打分与自己的标注对照。一个箭头从第 5 步绕回第 1 步,标注为:定期重复,直到交接。下方是一句引语:生产 trace 不是归档日志,而是用户每天给 Agent 布置的真实任务。
五步循环把客户的生产 trace 变成真正的评测集,人工标注是后续每一步的基础。

上线两周后,Agent 的评测套件依然全部通过。随后,客户的运营负责人发来一张截图:Agent 回答得很自信,语气也得体,内容却完全错了。你的测试套件里从来没有出现过类似的问题。

如果评测套件只在上线前编写,这种情况并不意外。套件本身没有坏,只是它为想象中的用户而写,而真实用户问的是另一些东西。

这里需要的能力不是更快地写更多测试,而是把客户的生产 trace 变成真正的评测集,并持续重复这一过程,直到项目交接。

为什么上线前的测试套件总有偏差?

Braintrust 把问题说得很直白:手写测试用例时,评测集会偏向你预期的用户行为,而不是用户的实际行为。你写下的,是你能想到的问题。

真实用户会拼错字,会把整封邮件粘贴进来,会在一句话里问两件事,还会拿产品去做没人设计过的任务。

正因如此,Anthropic 把生产环境监控视为上线后才开始的独立一层,用来发现分布漂移和没人预料到的真实失败。没人预料到的失败,不可能早已写在上线前的测试套件里。

对普通软件来说,读代码就能知道系统会做什么。Agent 不是这样:LangChain 的 Harrison Chase 认为,事实来源已经从代码转向 trace,也就是 Agent 实际行为的记录,而生产 trace 本身就成了你的评测数据集。

一个完整的循环

举个例子:你为一家零售连锁企业部署了一个处理退货申请的 Agent。它读取客户消息,通过工具查询订单,再决定批准、拒绝或转交人工。上线第一周产生了几千条 trace。

第 1 步:有意识地抽样,但始终保留一部分随机样本。 Hamel Husain 和 Shreya Shankar 建议每一批都放入一些随机选取的 trace。如果只读被标记的 trace(用户点了“不满意”,或工具返回错误),你只会看到本来就很显眼的失败。随机样本才是暴露静默失败的地方。

import random

def sample_batch(all_traces, flagged, n=50, random_share=0.3):
    # random_share 为示例值,请根据项目调整
    k_random = int(n * random_share)
    picked = random.sample(all_traces, k_random)
    picked_ids = {t["id"] for t in picked}
    rest = [t for t in flagged if t["id"] not in picked_ids]
    return picked + rest[: n - k_random]

第 2 步:先人工标注,暂时别用机器。 Husain 和 Shankar 规定,在参考 Agent 给出的建议之前,至少人工标注 30 条 trace。每条 trace 写一行简短说明,记下 Agent 最先出错的地方,例如“调用订单查询工具时用了电话号码,而不是订单号”。这时还不需要分类。

这是大多数人最想跳过的一步。但两位作者认为,错误分析是评测中最重要的工作。后面的一切,都取决于这 30 行笔记的质量。

第 3 步:归纳模式,再排序。 Braintrust 建议把生产数据中的每个重要模式都当作候选评测切片,并从三个维度排优先级:数量、严重程度和回归风险。下表是退货 Agent 的一个假设示例:

模式(假设) 数量 严重程度 回归风险
客户在一条消息里发了多个订单号,Agent 只处理第一个 高 中 高,修改提示词时容易复发
为超出政策期限的订单批准退货 低 很高,造成真实的资金损失 中
面对恼火的客户,回复语气过于生硬 中 低 低

第二个模式很少见,却排在最前面,因为一次失误就会造成真实的资金损失。这张表也可以带到客户会议上,与客户一起商定修复顺序。

第 4 步:把 trace 转成测试用例。 Anthropic 建议把用户报告的失败转成测试用例,让评测集反映产品的实际使用方式。原始输入要原样保留,包括拼写错误,并清楚写明正确行为:

case = {
    "id": "return-expired-policy-017",
    "source_trace": "trace_8f2c...",
    "slice": "expired_policy",
    "input": "CUSTOMER_ORIGINAL_MESSAGE(原样保留)",
    "tool_state": {"order_date": "...", "policy_days": "..."},
    "expected": "拒绝或转交人工,不得自动批准",
}

第 5 步:编写评估器,再检验评估器本身。 Husain 和 Shankar 的原则是:为已经发现的失败编写评估器,而不是为想象中的失败。“批准过期订单”这个模式可以用普通代码检查,比较订单日期和政策期限即可。“语气过于生硬”这个模式大概需要用 LLM 做评分器。

评分器也会出错。Anthropic 明确指出,不读多次运行的对话记录和分数,你就无法知道评分器是否可靠。最简单的办法,是把评分器的打分和你在第 2 步的标注放在一起对比:

def check_grader(rows):
    # rows: [{"trace_id": ..., "human": "pass"/"fail", "grader": "pass"/"fail"}]
    disagree = [r for r in rows if r["human"] != r["grader"]]
    agreement = 1 - len(disagree) / len(rows)
    return agreement, disagree  # 逐条重读每个有分歧的 trace 的对话记录

一致率只能告诉你有没有问题。真正需要阅读的是 disagree 列表:打开每一条对话记录,看评分器错在哪里,先修好评分器,再相信它给出的任何数字。

常见陷阱

第一个陷阱,是把上线前的套件当成定稿,只有在有人投诉时才补充用例。Anthropic 提醒,主要依赖用户来发现失败,伤害的正是这些用户。对前线部署工程师(FDE)来说,代价还包括客户方项目发起人的信任。

第二个陷阱,是只读被标记的 trace。这看起来高效,实际上只衡量了会让用户去点按钮的那类失败,却漏掉了 Agent 顺畅地答错的情况。

第三个陷阱,是一开始就让 LLM 给失败分类。如果你自己读的 trace 还不够多,就没有基准来判断机器的建议对不对。第四个陷阱与之相伴:为头脑风暴中听起来合理的风险构建一堆评估器,而真实数据从未出现过这些问题。

把这项能力变成求职优势

阅读 FDE 岗位或面向客户的 AI 工程师岗位描述时,留意“production monitoring”“error analysis”“eval dataset from traces”这类说法。看到它们时,准备好一个来自你自己项目的故事,讲讲类似上面的循环。

简历上不要只写“搭建了评测系统”。描述一个循环:标注了多少条 trace,发现了哪些模式,如何排优先级,新增了多少条回归测试。面试时,细讲一个具体的失败模式,比任何关于评测的定义都更有说服力。

上线不是评测工作的终点。从那天起,客户开始告诉你,你的评测集还缺什么。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 3: AI 应用微调帮了一个团队,却拖累了另一个:先诊断再动手按 OpenAI 的划分,缺知识用 RAG,行为不一致用微调,最终要靠客户数据上的基线来定。