# 通过率是产品决策，应该由 FDE 来定

> “正确”一旦需要判断，就该由最贴近客户的人把它写成能运行的测试。

原文: https://fdetimes.net/zh/analysis/pass-rate-product-decision-fde-evals/

“通过率是一个产品决策。”这句话出自 Hamel Husain，Simon Willison 在博客中引用过。习惯写单元测试的工程师听来会觉得别扭：单元测试的通过率就是 100%，没什么可谈的。

但正是这句话，解释了为什么评测已成为做 AI 的前线部署工程师（FDE）的核心技能。AI 系统每次运行的输出并不相同，“正确”因此不再是纯技术问题。总得有人决定多正确才算够正确，而且这个决定必须写成能运行的东西。

Anthropic 对由谁来做说得很明确：最贴近产品需求和用户的人，最适合定义什么是成功。

在 AI 部署项目上，这个人不是总部的研究员，而是坐在客户办公室里的工程师。这正是 Andrew Ng 在 The Batch 中所说的 FDE：嵌入客户组织的工程师。

## 没有评测，谁来买单？

Anthropic 对评测的定义只有寥寥数语：给 AI 系统一个输入，再用评分逻辑判断它的输出。它简单到很多团队干脆跳过，Anthropic 也点出了原因：评测的成本一开始就看得见，价值却是慢慢累积的，很容易被忽视。

Anthropic 指出，结果就是团队陷入被动修 bug 的循环，系统上了生产环境才发现问题。Hamel Husain 观察到，失败的 LLM 产品通常有一个共同根源：从未建立稳健的评估体系。

对 FDE 来说，这些都不抽象。Agent 给客户的员工答错了，接电话的是你，不是模型团队。缺少评测的代价由 FDE 承担，Anthropic 所说的复利效应，FDE 也受益最多。

Hamel 把它称为飞轮：评测体系形成一个闭环，让你能非常快地迭代。客户每报一个 bug，你就把它变成一个新用例，下次就不必再等别人来报。

## 评估的三个层级，哪一层属于 FDE

Hamel 把评估分为三个层级：第一层是单元测试，第二层是模型与人工评估（包括调试），第三层是 A/B 测试。乍看这是整个组织的分工图，但细看会发现，每一层都需要一样 FDE 最有条件提供的东西。

| 层级 | 回答的问题 | FDE 带来什么 |
|---|---|---|
| 第一层：单元测试 | 输出是否违反了硬性规则？ | 在现场直接从用户那里听来的业务规则 |
| 第二层：模型与人工评估 | 按客户的标准，输出算不算“好”？ | 与领域专家的关系，用来校准 LLM-as-judge |
| 第三层：A/B 测试 | 哪个版本带来更好的业务结果？ | 能接触到真实工作流程，可以实际度量 |

第二层最能体现 FDE 的能力。用 LLM 给输出打分便宜又快，很有吸引力，但 Hamel 提醒，必须让模型与人的判断对齐，因为“正确”是主观的。

这里的“人”不是你，而是每天使用系统的会计、客服或维修工程师。只有 FDE 离他们足够近，能问一句：“这个你打几分，为什么？”

Hamel 还有一条原则：消除查看数据的一切阻力。逐条阅读真实的 trace 是核心工作，不是附带任务。每天早上打开 trace 的 FDE，会比客户先发现故障；只盯着仪表盘的 FDE，要等客户已经不满了才看到。

## pass@k 还是 pass^k：客户不知道自己要回答的问题

回到 Hamel 那句话：通过率是产品决策。做这个决策，第一步是选对指标。Anthropic 区分了两种指标，它们对 Agent 给出的结果差别很大：pass@k 衡量 k 次运行中至少一次成功的概率，pass^k 衡量 k 次运行全部成功的概率。

同一个 Agent，这两个数字可能相差很远，因为 Agent 的输出是不确定的。

假设你在为财务部门部署一个读取发票的 Agent。如果他们的流程允许有人复核结果并重新运行，pass@k 是合理的指标。如果输出直接入账、无人检查，他们真正需要的是 pass^k，而这个数字会低得多。

客户很少自己提出这个问题，他们只会说“必须准确”。把“必须准确”翻译成“在这 200 个用例上，pass^5 必须高于阈值 X”，再去商定 X，这是 FDE 的事。

**要点:** FDE 不只是达成通过率，而是决定哪个通过率才算通过。

这里的“商定”是字面意思。客户往往想要 100%，而输出不确定的系统很少做得到。要预设每多一个百分点都比上一个更贵，并且从一开始就告诉客户。

同时掌握两方面信息的，只有夹在中间的这位工程师：一边是系统的能力边界，一边是业务对错误的真实容忍度。把这个决定交给销售或模型团队，结果往往是一方过度承诺，另一方测了个没人需要的东西。

## 如果评测工程师成了独立岗位呢？

Andrew Ng 推测，AI 工程可能分化出更细的岗位，比如 AI FDE、LLMOps 工程师或评测工程师（Evals Engineer）。他也许是对的。但即便有人专门搭建评测基础设施，最难的部分也无法转手：定义成功。

评分基础设施可以集中建设，而每个客户的用户认为哪些错误严重，这种理解无法集中。

所以，对越南或其他任何地方想转型 FDE 的开发者来说，评测是当下最值得投入的技能：它既是技术活，又能证明你懂业务。练习也不需要大项目。

挑一个你做过的 AI 工作流，用真实 trace 搭一个小评测集，请懂这个领域的人手工打分，再测一测你的 LLM-as-judge 和他们差多远。把这个闭环走完一次，面试时你就有一个具体的故事可讲。

简历上不要写“熟悉提示词工程”，要写评测集有多少个用例、怎么打分、和用户商定的通过率是多少。

看岗位描述时，留意 evaluation、trace、observability（可观测性）或“与客户共同定义成功指标”这类字眼。它们说明这家公司明白 FDE 是做什么的，而不只是想找人去装软件。

模型会变，框架会变，今天写的提示词下个季度可能就扔了。留下来的，是你和客户一起搭建的评测集，以及一个只有你离得够近才能问出口的问题的答案：多正确才算够正确？

**本周动手试试:**

- 挑一个你正在做的 AI 工作流，用真实 trace 写出最初的 20 个评测用例，每个用例包含输入和清晰的评分标准。
- 请懂这个领域的人手工给这 20 个输出打分，再与你的 LLM-as-judge 的分数对比，找出分歧在哪里。
- 为简历写一行话，描述你搭建的评测集：用例数量、打分方式，以及与用户商定的通过率。

## 信源

- [Demystifying evals for AI agents (Anthropic Engineering)](https://anthropic.com/engineering/demystifying-evals-for-ai-agents)

- [Your AI Product Needs Evals (Hamel Husain)](https://hamel.dev/blog/posts/evals/)

- [Your AI Product Needs Evals (Simon Willison's Weblog)](https://simonwillison.net/2024/Mar/31/your-ai-product-needs-evals)

- [Forward Deployed Engineers and the Future of AI Engineering (DeepLearning.AI)](https://charonhub.deeplearning.ai/forward-deployed-engineers-and-the-future-of-ai-engineering/)
