“感觉更快了”,过不了客户 CFO 这一关
METR 试验中开发者自觉快了 20%,实测却慢了 19%;真实 ROI 要从基线算起,并扣除检查和返工成本。
要点速览
- 自报时间不可靠:METR 试验中,开发者实际多花了 19% 的时间,却仍认为自己快了 20%。
- 只计算 AI 完成且达到质量标准的工作,再扣除检查时间(必然发生)和返工时间(按概率计)。
- 部署前先测基线,并坦白告诉客户:回本通常要几年,而不是几个月。
系统上线生产环境三个月后,季度复盘会上多了一张新面孔:客户的首席财务官(CFO)。她没有问用的是哪个模型,也没有问延迟是多少。她只问了一个问题:“这个项目值不值我们投进去的钱?”
如果这时你手里只有一张仪表盘截图和几句用户的好评,这个项目已经输了一半。前线部署工程师(FDE)拿薪水,不是为了交付功能。
Palantir 在 Forward Deployed Enablement Engineer 的岗位描述里写得很直白:这个岗位的存在,是为了让已部署的产品和工作流产出最大化,并与客户最重要的业务结果挂钩。
所以衡量 ROI 不只是销售或财务的事。它是一项工程能力,需要数据、设计合理的测量方法,还需要诚实。下文以一条发票处理数据管道为例,从基线一路算到最终摆在 CFO 面前的数字。
为什么不能相信“更快了”的感觉?
第一个陷阱是去问用户。2025 年,METR 以经验丰富的开源开发者为对象,做了一项随机对照试验。结果是:使用 AI 工具时,他们完成任务的时间比不用时多了 19%。
更值得注意的是后面的细节。试验前,这些开发者预期自己会更快。试验后,尽管测量结果相反,他们仍然认为 AI 让自己快了 20%。
这两个数字口径不同:一个是实测多出的时间,一个是用户自认为获得的提速。但两者方向相反,这才是该警惕的地方。
对 FDE 来说,教训很明确。“你觉得节省了多少时间?”这类问卷有助于了解用户体验,却不能当作财务证据。交给 CFO 的,必须是实测的单任务耗时,有前后两个数字。
从目标和基线出发,而不是从模型出发
AICPA & CIMA 的 Paul Parks 在 Journal of Accountancy 上撰文,提出了一套 ROI 流程,第一步是明确目标:用例是什么,管理层希望通过这笔投资达成什么。他的框架也把无法用金钱衡量的收益纳入考虑。
对 FDE 来说,这就是客户需求调研:写第一行代码之前,你要知道客户会用哪个数字来判断成败。
下一步是基线。Delos 建议,在 90 天框架中用前 30 天建立基线指标,之后再报告任何 ROI 数字。道理很简单:不测“之前”,“之后”就无从比较。
等系统跑起来再去找基线,通常已经晚了,因为旧流程已经不存在。
Parks 还指出,收益这一侧本身就难以衡量,因为大多数组织同时推进多个项目。发票处理量上升,可能归功于你的系统,也可能是因为财务团队刚招了人。
条件允许时,保留一个对照组,比如尚未接入系统的某个分支机构或某类单据,以剥离出项目本身的效果。
示例:一条发票处理数据管道
Delos 给出了一个直观的前后对比:处理一张发票的时间从 8 分钟降到 45 秒。这种表述方式是对的,因为它按单个任务计算,而不是笼统地说“效率提升”。但如果只算到这里,数字依然虚高。
GSPANN 把缺失的部分称为修复负担(repair burden):人工检查和修正 AI 输出所花的时间。他们的概括是:检查必然要付出,返工则取决于概率。
为此,GSPANN 给出了一个净节省公式。用文字表述就是:毛节省工时,减去修复工时,再减去系统的其他成本。
套用一个假设场景:客户每月处理 10,000 张发票,每张发票需要人工花 1 分钟检查结果,5% 的发票有误,需要手工重做,耗时 8 分钟。
| 组成部分(每张发票) | 计算 | 秒 |
|---|---|---|
| 毛节省 | 480 − 45 | 435 |
| 检查(必然发生) | 1 分钟 × 100% | −60 |
| 返工(按概率) | 8 分钟 × 5% | −24 |
| 净节省 | 351 |
10,000 张发票合计净节省 3,510,000 秒,即每月 975 小时。Delos 建议,把工时换算成金额时,用节省的时间乘以原先做这项工作的人员的完全负担小时成本,即除工资外,还包括保险、福利和管理费用。
然后再减去模型、基础设施和运维人员的成本。
要交给财务的第二个数字是单个成功任务成本。按 GSPANN 的方法,只统计 AI 完成且达到约定质量阈值的工作,把产出这些工作的全部成本加总,再做除法。
在上面的例子中,如果假定手工重做的发票不算 AI 完成的工作(尽管修正后它们可能已经达标),分母就是 9,500,而不是 10,000。
在自己的项目里落地
先和预算负责人开一次会,而不是找最终用户。问清楚他们想改善哪项业务指标,以及什么质量阈值算“完成”。写下来,并请对方确认。
接着在旧流程上测基线:给每个任务计时,统计业务量,记录当前错误率。系统上线后,为每个任务记录三项内容:处理时间、人工复核时间,以及该任务是否需要返工。少了第三列,修复负担就永远算不出来。
最后,从一开始就谈回本周期。ACCA 引用的一项 Deloitte 调查发现,一个典型的 AI 用例需要两到四年才能实现 ROI,只有 6% 的受访者在一年内回本。承诺一个季度回本,等于给自己挖坑。
让数字被否掉的常见错误
最常见的错误是报告毛节省:拿 8 分钟减 45 秒再乘上去,忽略检查时间。财务的人马上会问:谁在复核这些输出?到那一步,你的数字就站不住了。
第二个错误是把失败的任务算进分母,让单任务成本显得比实际便宜。第三个是把所有改善都归功于你的项目,而客户同时还在推进另外三个项目。
第四个是依赖感知类问卷。METR 已经证明,感知不仅会在幅度上出错,连方向都可能错。
这项能力该写在简历哪里?
对想转型做 FDE 的开发者来说,这项能力能让简历脱颖而出。阅读岗位描述时,留意“business outcomes”“value realization”“customer success”这类字眼。它们说明公司需要的是能衡量结果的人,而不只是能把东西做出来的人。
在简历上,把“搭建了发票 OCR 数据管道”这样的描述,换成包含基线、部署后数据和通过率的表述。
本周练习
拿一个你交付过的功能,工作项目或个人项目都行,照着上面的发票表格做一张表:毛节省、检查时间、返工时间、净节省。凡是因为缺少实测数据而空着的格子,正是你下一个项目从第一天起就必须收集的数据。
当 CFO 出现在复盘会上,胜出的往往不是演示最炫的人,而是第一天就测了基线的人。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Palantir Technologies - Forward Deployed Enablement Engineer - Customer Success
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity · 2025-07-10
- Why Nobody Can Total the AI Bill (GSPANN Insights) · 2026-09-03
- AI Agent ROI: How to Measure the Business Impact of Autonomous AI Workers · 2026-07-22
- AI investment returns elusive · 2025-12
- Generative AI's toughest question: What's it worth? · 2025-02-01