FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

分析

通过率是产品决策,应该由 FDE 来定

“正确”一旦需要判断,就该由最贴近客户的人把它写成能运行的测试。

分享微博

要点速览

  • Agent 的输出不确定,所以“正确”必须有人定义。Anthropic 认为,最贴近产品需求和用户的人最适合做这件事。在部署项目上,这个人就是 FDE。
  • Anthropic 提醒,没有评测的团队最终只能在生产环境里被动修 bug。Hamel Husain 发现,失败的 LLM 产品有一个共同根源:从未建立稳健的评估体系。
  • 通过率是产品决策。FDE 与客户商定通过率,再把它转成指标(pass@k 或 pass^k)和一套能运行的评测集。
流程图:客户说“必须准确”,FDE 追问是否有人复核并重跑输出。如果有,就用 pass@k 衡量,即 k 次运行中至少 1 次成功;如果输出直接入账,就用 pass^k 衡量,即 k 次运行全部成功,得到的数字会低得多。最终得到通过条件:200 个用例上的 pass^5 必须达到或高于阈值 X。阈值 X 可以商量,因为每多一个百分点成本都更高。
客户只说“必须准确”。由 FDE 选定指标(pass@k 或 pass^k),并设定算作通过的阈值。

“通过率是一个产品决策。”这句话出自 Hamel Husain,Simon Willison 在博客中引用过。习惯写单元测试的工程师听来会觉得别扭:单元测试的通过率就是 100%,没什么可谈的。

但正是这句话,解释了为什么评测已成为做 AI 的前线部署工程师(FDE)的核心技能。AI 系统每次运行的输出并不相同,“正确”因此不再是纯技术问题。总得有人决定多正确才算够正确,而且这个决定必须写成能运行的东西。

Anthropic 对由谁来做说得很明确:最贴近产品需求和用户的人,最适合定义什么是成功。

在 AI 部署项目上,这个人不是总部的研究员,而是坐在客户办公室里的工程师。这正是 Andrew Ng 在 The Batch 中所说的 FDE:嵌入客户组织的工程师。

没有评测,谁来买单?

Anthropic 对评测的定义只有寥寥数语:给 AI 系统一个输入,再用评分逻辑判断它的输出。它简单到很多团队干脆跳过,Anthropic 也点出了原因:评测的成本一开始就看得见,价值却是慢慢累积的,很容易被忽视。

Anthropic 指出,结果就是团队陷入被动修 bug 的循环,系统上了生产环境才发现问题。Hamel Husain 观察到,失败的 LLM 产品通常有一个共同根源:从未建立稳健的评估体系。

对 FDE 来说,这些都不抽象。Agent 给客户的员工答错了,接电话的是你,不是模型团队。缺少评测的代价由 FDE 承担,Anthropic 所说的复利效应,FDE 也受益最多。

Hamel 把它称为飞轮:评测体系形成一个闭环,让你能非常快地迭代。客户每报一个 bug,你就把它变成一个新用例,下次就不必再等别人来报。

评估的三个层级,哪一层属于 FDE

Hamel 把评估分为三个层级:第一层是单元测试,第二层是模型与人工评估(包括调试),第三层是 A/B 测试。乍看这是整个组织的分工图,但细看会发现,每一层都需要一样 FDE 最有条件提供的东西。

层级 回答的问题 FDE 带来什么
第一层:单元测试 输出是否违反了硬性规则? 在现场直接从用户那里听来的业务规则
第二层:模型与人工评估 按客户的标准,输出算不算“好”? 与领域专家的关系,用来校准 LLM-as-judge
第三层:A/B 测试 哪个版本带来更好的业务结果? 能接触到真实工作流程,可以实际度量

第二层最能体现 FDE 的能力。用 LLM 给输出打分便宜又快,很有吸引力,但 Hamel 提醒,必须让模型与人的判断对齐,因为“正确”是主观的。

这里的“人”不是你,而是每天使用系统的会计、客服或维修工程师。只有 FDE 离他们足够近,能问一句:“这个你打几分,为什么?”

Hamel 还有一条原则:消除查看数据的一切阻力。逐条阅读真实的 trace 是核心工作,不是附带任务。每天早上打开 trace 的 FDE,会比客户先发现故障;只盯着仪表盘的 FDE,要等客户已经不满了才看到。

pass@k 还是 pass^k:客户不知道自己要回答的问题

回到 Hamel 那句话:通过率是产品决策。做这个决策,第一步是选对指标。Anthropic 区分了两种指标,它们对 Agent 给出的结果差别很大:pass@k 衡量 k 次运行中至少一次成功的概率,pass^k 衡量 k 次运行全部成功的概率。

同一个 Agent,这两个数字可能相差很远,因为 Agent 的输出是不确定的。

假设你在为财务部门部署一个读取发票的 Agent。如果他们的流程允许有人复核结果并重新运行,pass@k 是合理的指标。如果输出直接入账、无人检查,他们真正需要的是 pass^k,而这个数字会低得多。

客户很少自己提出这个问题,他们只会说“必须准确”。把“必须准确”翻译成“在这 200 个用例上,pass^5 必须高于阈值 X”,再去商定 X,这是 FDE 的事。

这里的“商定”是字面意思。客户往往想要 100%,而输出不确定的系统很少做得到。要预设每多一个百分点都比上一个更贵,并且从一开始就告诉客户。

同时掌握两方面信息的,只有夹在中间的这位工程师:一边是系统的能力边界,一边是业务对错误的真实容忍度。把这个决定交给销售或模型团队,结果往往是一方过度承诺,另一方测了个没人需要的东西。

如果评测工程师成了独立岗位呢?

Andrew Ng 推测,AI 工程可能分化出更细的岗位,比如 AI FDE、LLMOps 工程师或评测工程师(Evals Engineer)。他也许是对的。但即便有人专门搭建评测基础设施,最难的部分也无法转手:定义成功。

评分基础设施可以集中建设,而每个客户的用户认为哪些错误严重,这种理解无法集中。

所以,对越南或其他任何地方想转型 FDE 的开发者来说,评测是当下最值得投入的技能:它既是技术活,又能证明你懂业务。练习也不需要大项目。

挑一个你做过的 AI 工作流,用真实 trace 搭一个小评测集,请懂这个领域的人手工打分,再测一测你的 LLM-as-judge 和他们差多远。把这个闭环走完一次,面试时你就有一个具体的故事可讲。

简历上不要写“熟悉提示词工程”,要写评测集有多少个用例、怎么打分、和用户商定的通过率是多少。

看岗位描述时,留意 evaluation、trace、observability(可观测性)或“与客户共同定义成功指标”这类字眼。它们说明这家公司明白 FDE 是做什么的,而不只是想找人去装软件。

模型会变,框架会变,今天写的提示词下个季度可能就扔了。留下来的,是你和客户一起搭建的评测集,以及一个只有你离得够近才能问出口的问题的答案:多正确才算够正确?

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 7: 项目主导客户什么都想要时,FDE 应先在范围上让步截止日期归客户,质量要守住底线;真正的难点是分清需求探索与范围蔓延。