FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

“感觉更快了”,过不了客户 CFO 这一关

METR 试验中开发者自觉快了 20%,实测却慢了 19%;真实 ROI 要从基线算起,并扣除检查和返工成本。

分享微博

要点速览

  • 自报时间不可靠:METR 试验中,开发者实际多花了 19% 的时间,却仍认为自己快了 20%。
  • 只计算 AI 完成且达到质量标准的工作,再扣除检查时间(必然发生)和返工时间(按概率计)。
  • 部署前先测基线,并坦白告诉客户:回本通常要几年,而不是几个月。
每张发票节省时间的瀑布柱状图。毛节省为 435 秒,扣除 60 秒检查和 24 秒返工后,净节省为 351 秒。净节省柱为橙色。
每张发票毛节省 435 秒。扣除检查时间(必然发生)和返工(5% 的发票有误)后,剩下 351 秒。此为文中的假设场景。来源:Delos 前后对比示例;GSPANN 净节省公式。

系统上线生产环境三个月后,季度复盘会上多了一张新面孔:客户的首席财务官(CFO)。她没有问用的是哪个模型,也没有问延迟是多少。她只问了一个问题:“这个项目值不值我们投进去的钱?”

如果这时你手里只有一张仪表盘截图和几句用户的好评,这个项目已经输了一半。前线部署工程师(FDE)拿薪水,不是为了交付功能。

Palantir 在 Forward Deployed Enablement Engineer 的岗位描述里写得很直白:这个岗位的存在,是为了让已部署的产品和工作流产出最大化,并与客户最重要的业务结果挂钩。

所以衡量 ROI 不只是销售或财务的事。它是一项工程能力,需要数据、设计合理的测量方法,还需要诚实。下文以一条发票处理数据管道为例,从基线一路算到最终摆在 CFO 面前的数字。

为什么不能相信“更快了”的感觉?

第一个陷阱是去问用户。2025 年,METR 以经验丰富的开源开发者为对象,做了一项随机对照试验。结果是:使用 AI 工具时,他们完成任务的时间比不用时多了 19%。

更值得注意的是后面的细节。试验前,这些开发者预期自己会更快。试验后,尽管测量结果相反,他们仍然认为 AI 让自己快了 20%。

这两个数字口径不同:一个是实测多出的时间,一个是用户自认为获得的提速。但两者方向相反,这才是该警惕的地方。

对 FDE 来说,教训很明确。“你觉得节省了多少时间?”这类问卷有助于了解用户体验,却不能当作财务证据。交给 CFO 的,必须是实测的单任务耗时,有前后两个数字。

从目标和基线出发,而不是从模型出发

AICPA & CIMA 的 Paul Parks 在 Journal of Accountancy 上撰文,提出了一套 ROI 流程,第一步是明确目标:用例是什么,管理层希望通过这笔投资达成什么。他的框架也把无法用金钱衡量的收益纳入考虑。

对 FDE 来说,这就是客户需求调研:写第一行代码之前,你要知道客户会用哪个数字来判断成败。

下一步是基线。Delos 建议,在 90 天框架中用前 30 天建立基线指标,之后再报告任何 ROI 数字。道理很简单:不测“之前”,“之后”就无从比较。

等系统跑起来再去找基线,通常已经晚了,因为旧流程已经不存在。

Parks 还指出,收益这一侧本身就难以衡量,因为大多数组织同时推进多个项目。发票处理量上升,可能归功于你的系统,也可能是因为财务团队刚招了人。

条件允许时,保留一个对照组,比如尚未接入系统的某个分支机构或某类单据,以剥离出项目本身的效果。

示例:一条发票处理数据管道

Delos 给出了一个直观的前后对比:处理一张发票的时间从 8 分钟降到 45 秒。这种表述方式是对的,因为它按单个任务计算,而不是笼统地说“效率提升”。但如果只算到这里,数字依然虚高。

GSPANN 把缺失的部分称为修复负担(repair burden):人工检查和修正 AI 输出所花的时间。他们的概括是:检查必然要付出,返工则取决于概率。

为此,GSPANN 给出了一个净节省公式。用文字表述就是:毛节省工时,减去修复工时,再减去系统的其他成本。

套用一个假设场景:客户每月处理 10,000 张发票,每张发票需要人工花 1 分钟检查结果,5% 的发票有误,需要手工重做,耗时 8 分钟。

组成部分(每张发票) 计算 秒
毛节省 480 − 45 435
检查(必然发生) 1 分钟 × 100% −60
返工(按概率) 8 分钟 × 5% −24
净节省 351

10,000 张发票合计净节省 3,510,000 秒,即每月 975 小时。Delos 建议,把工时换算成金额时,用节省的时间乘以原先做这项工作的人员的完全负担小时成本,即除工资外,还包括保险、福利和管理费用。

然后再减去模型、基础设施和运维人员的成本。

要交给财务的第二个数字是单个成功任务成本。按 GSPANN 的方法,只统计 AI 完成且达到约定质量阈值的工作,把产出这些工作的全部成本加总,再做除法。

在上面的例子中,如果假定手工重做的发票不算 AI 完成的工作(尽管修正后它们可能已经达标),分母就是 9,500,而不是 10,000。

在自己的项目里落地

先和预算负责人开一次会,而不是找最终用户。问清楚他们想改善哪项业务指标,以及什么质量阈值算“完成”。写下来,并请对方确认。

接着在旧流程上测基线:给每个任务计时,统计业务量,记录当前错误率。系统上线后,为每个任务记录三项内容:处理时间、人工复核时间,以及该任务是否需要返工。少了第三列,修复负担就永远算不出来。

最后,从一开始就谈回本周期。ACCA 引用的一项 Deloitte 调查发现,一个典型的 AI 用例需要两到四年才能实现 ROI,只有 6% 的受访者在一年内回本。承诺一个季度回本,等于给自己挖坑。

让数字被否掉的常见错误

最常见的错误是报告毛节省:拿 8 分钟减 45 秒再乘上去,忽略检查时间。财务的人马上会问:谁在复核这些输出?到那一步,你的数字就站不住了。

第二个错误是把失败的任务算进分母,让单任务成本显得比实际便宜。第三个是把所有改善都归功于你的项目,而客户同时还在推进另外三个项目。

第四个是依赖感知类问卷。METR 已经证明,感知不仅会在幅度上出错,连方向都可能错。

这项能力该写在简历哪里?

对想转型做 FDE 的开发者来说,这项能力能让简历脱颖而出。阅读岗位描述时,留意“business outcomes”“value realization”“customer success”这类字眼。它们说明公司需要的是能衡量结果的人,而不只是能把东西做出来的人。

在简历上,把“搭建了发票 OCR 数据管道”这样的描述,换成包含基线、部署后数据和通过率的表述。

本周练习

拿一个你交付过的功能,工作项目或个人项目都行,照着上面的发票表格做一张表:毛节省、检查时间、返工时间、净节省。凡是因为缺少实测数据而空着的格子,正是你下一个项目从第一天起就必须收集的数据。

当 CFO 出现在复盘会上,胜出的往往不是演示最炫的人,而是第一天就测了基线的人。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量仪表盘全绿不算数,客户账本对上才算借鉴会计的对账纪律,事先约定容差,任何差异都能当场解释,不必再说“回头查一下”。