通过率是产品决策,应该由 FDE 来定
“正确”一旦需要判断,就该由最贴近客户的人把它写成能运行的测试。
要点速览
- Agent 的输出不确定,所以“正确”必须有人定义。Anthropic 认为,最贴近产品需求和用户的人最适合做这件事。在部署项目上,这个人就是 FDE。
- Anthropic 提醒,没有评测的团队最终只能在生产环境里被动修 bug。Hamel Husain 发现,失败的 LLM 产品有一个共同根源:从未建立稳健的评估体系。
- 通过率是产品决策。FDE 与客户商定通过率,再把它转成指标(pass@k 或 pass^k)和一套能运行的评测集。
“通过率是一个产品决策。”这句话出自 Hamel Husain,Simon Willison 在博客中引用过。习惯写单元测试的工程师听来会觉得别扭:单元测试的通过率就是 100%,没什么可谈的。
但正是这句话,解释了为什么评测已成为做 AI 的前线部署工程师(FDE)的核心技能。AI 系统每次运行的输出并不相同,“正确”因此不再是纯技术问题。总得有人决定多正确才算够正确,而且这个决定必须写成能运行的东西。
Anthropic 对由谁来做说得很明确:最贴近产品需求和用户的人,最适合定义什么是成功。
在 AI 部署项目上,这个人不是总部的研究员,而是坐在客户办公室里的工程师。这正是 Andrew Ng 在 The Batch 中所说的 FDE:嵌入客户组织的工程师。
没有评测,谁来买单?
Anthropic 对评测的定义只有寥寥数语:给 AI 系统一个输入,再用评分逻辑判断它的输出。它简单到很多团队干脆跳过,Anthropic 也点出了原因:评测的成本一开始就看得见,价值却是慢慢累积的,很容易被忽视。
Anthropic 指出,结果就是团队陷入被动修 bug 的循环,系统上了生产环境才发现问题。Hamel Husain 观察到,失败的 LLM 产品通常有一个共同根源:从未建立稳健的评估体系。
对 FDE 来说,这些都不抽象。Agent 给客户的员工答错了,接电话的是你,不是模型团队。缺少评测的代价由 FDE 承担,Anthropic 所说的复利效应,FDE 也受益最多。
Hamel 把它称为飞轮:评测体系形成一个闭环,让你能非常快地迭代。客户每报一个 bug,你就把它变成一个新用例,下次就不必再等别人来报。
评估的三个层级,哪一层属于 FDE
Hamel 把评估分为三个层级:第一层是单元测试,第二层是模型与人工评估(包括调试),第三层是 A/B 测试。乍看这是整个组织的分工图,但细看会发现,每一层都需要一样 FDE 最有条件提供的东西。
| 层级 | 回答的问题 | FDE 带来什么 |
|---|---|---|
| 第一层:单元测试 | 输出是否违反了硬性规则? | 在现场直接从用户那里听来的业务规则 |
| 第二层:模型与人工评估 | 按客户的标准,输出算不算“好”? | 与领域专家的关系,用来校准 LLM-as-judge |
| 第三层:A/B 测试 | 哪个版本带来更好的业务结果? | 能接触到真实工作流程,可以实际度量 |
第二层最能体现 FDE 的能力。用 LLM 给输出打分便宜又快,很有吸引力,但 Hamel 提醒,必须让模型与人的判断对齐,因为“正确”是主观的。
这里的“人”不是你,而是每天使用系统的会计、客服或维修工程师。只有 FDE 离他们足够近,能问一句:“这个你打几分,为什么?”
Hamel 还有一条原则:消除查看数据的一切阻力。逐条阅读真实的 trace 是核心工作,不是附带任务。每天早上打开 trace 的 FDE,会比客户先发现故障;只盯着仪表盘的 FDE,要等客户已经不满了才看到。
pass@k 还是 pass^k:客户不知道自己要回答的问题
回到 Hamel 那句话:通过率是产品决策。做这个决策,第一步是选对指标。Anthropic 区分了两种指标,它们对 Agent 给出的结果差别很大:pass@k 衡量 k 次运行中至少一次成功的概率,pass^k 衡量 k 次运行全部成功的概率。
同一个 Agent,这两个数字可能相差很远,因为 Agent 的输出是不确定的。
假设你在为财务部门部署一个读取发票的 Agent。如果他们的流程允许有人复核结果并重新运行,pass@k 是合理的指标。如果输出直接入账、无人检查,他们真正需要的是 pass^k,而这个数字会低得多。
客户很少自己提出这个问题,他们只会说“必须准确”。把“必须准确”翻译成“在这 200 个用例上,pass^5 必须高于阈值 X”,再去商定 X,这是 FDE 的事。
这里的“商定”是字面意思。客户往往想要 100%,而输出不确定的系统很少做得到。要预设每多一个百分点都比上一个更贵,并且从一开始就告诉客户。
同时掌握两方面信息的,只有夹在中间的这位工程师:一边是系统的能力边界,一边是业务对错误的真实容忍度。把这个决定交给销售或模型团队,结果往往是一方过度承诺,另一方测了个没人需要的东西。
如果评测工程师成了独立岗位呢?
Andrew Ng 推测,AI 工程可能分化出更细的岗位,比如 AI FDE、LLMOps 工程师或评测工程师(Evals Engineer)。他也许是对的。但即便有人专门搭建评测基础设施,最难的部分也无法转手:定义成功。
评分基础设施可以集中建设,而每个客户的用户认为哪些错误严重,这种理解无法集中。
所以,对越南或其他任何地方想转型 FDE 的开发者来说,评测是当下最值得投入的技能:它既是技术活,又能证明你懂业务。练习也不需要大项目。
挑一个你做过的 AI 工作流,用真实 trace 搭一个小评测集,请懂这个领域的人手工打分,再测一测你的 LLM-as-judge 和他们差多远。把这个闭环走完一次,面试时你就有一个具体的故事可讲。
简历上不要写“熟悉提示词工程”,要写评测集有多少个用例、怎么打分、和用户商定的通过率是多少。
看岗位描述时,留意 evaluation、trace、observability(可观测性)或“与客户共同定义成功指标”这类字眼。它们说明这家公司明白 FDE 是做什么的,而不只是想找人去装软件。
模型会变,框架会变,今天写的提示词下个季度可能就扔了。留下来的,是你和客户一起搭建的评测集,以及一个只有你离得够近才能问出口的问题的答案:多正确才算够正确?
这篇文章对你有帮助吗?
感谢你的反馈!