# “感觉更快了”，过不了客户 CFO 这一关

> METR 试验中开发者自觉快了 20%，实测却慢了 19%；真实 ROI 要从基线算起，并扣除检查和返工成本。

原文: https://fdetimes.net/zh/guides/measure-customer-roi-net-savings/

系统上线生产环境三个月后，季度复盘会上多了一张新面孔：客户的首席财务官（CFO）。她没有问用的是哪个模型，也没有问延迟是多少。她只问了一个问题：“这个项目值不值我们投进去的钱？”

如果这时你手里只有一张仪表盘截图和几句用户的好评，这个项目已经输了一半。前线部署工程师（FDE）拿薪水，不是为了交付功能。

Palantir 在 Forward Deployed Enablement Engineer 的岗位描述里写得很直白：这个岗位的存在，是为了让已部署的产品和工作流产出最大化，并与客户最重要的业务结果挂钩。

所以衡量 ROI 不只是销售或财务的事。它是一项工程能力，需要数据、设计合理的测量方法，还需要诚实。下文以一条发票处理数据管道为例，从基线一路算到最终摆在 CFO 面前的数字。

## 为什么不能相信“更快了”的感觉？

第一个陷阱是去问用户。2025 年，METR 以经验丰富的开源开发者为对象，做了一项随机对照试验。结果是：使用 AI 工具时，他们完成任务的时间比不用时**多了 19%**。

更值得注意的是后面的细节。试验前，这些开发者预期自己会更快。试验后，尽管测量结果相反，他们仍然认为 AI 让自己快了 20%。

这两个数字口径不同：一个是实测多出的时间，一个是用户自认为获得的提速。但两者方向相反，这才是该警惕的地方。

对 FDE 来说，教训很明确。“你觉得节省了多少时间？”这类问卷有助于了解用户体验，却不能当作财务证据。交给 CFO 的，必须是实测的单任务耗时，有前后两个数字。

## 从目标和基线出发，而不是从模型出发

AICPA & CIMA 的 Paul Parks 在 Journal of Accountancy 上撰文，提出了一套 ROI 流程，第一步是明确目标：用例是什么，管理层希望通过这笔投资达成什么。他的框架也把无法用金钱衡量的收益纳入考虑。

对 FDE 来说，这就是客户需求调研：写第一行代码之前，你要知道客户会用哪个数字来判断成败。

下一步是基线。Delos 建议，在 90 天框架中用前 30 天建立基线指标，之后再报告任何 ROI 数字。道理很简单：不测“之前”，“之后”就无从比较。

等系统跑起来再去找基线，通常已经晚了，因为旧流程已经不存在。

Parks 还指出，收益这一侧本身就难以衡量，因为大多数组织同时推进多个项目。发票处理量上升，可能归功于你的系统，也可能是因为财务团队刚招了人。

条件允许时，保留一个对照组，比如尚未接入系统的某个分支机构或某类单据，以剥离出项目本身的效果。

## 示例：一条发票处理数据管道

Delos 给出了一个直观的前后对比：处理一张发票的时间从 8 分钟降到 45 秒。这种表述方式是对的，因为它按单个任务计算，而不是笼统地说“效率提升”。但如果只算到这里，数字依然虚高。

GSPANN 把缺失的部分称为修复负担（repair burden）：人工检查和修正 AI 输出所花的时间。他们的概括是：检查必然要付出，返工则取决于概率。

为此，GSPANN 给出了一个净节省公式。用文字表述就是：毛节省工时，减去修复工时，再减去系统的其他成本。

套用一个假设场景：客户每月处理 10,000 张发票，每张发票需要人工花 1 分钟检查结果，5% 的发票有误，需要手工重做，耗时 8 分钟。

| 组成部分（每张发票） | 计算 | 秒 |
|---|---|---|
| 毛节省 | 480 − 45 | 435 |
| 检查（必然发生） | 1 分钟 × 100% | −60 |
| 返工（按概率） | 8 分钟 × 5% | −24 |
| **净节省** | | **351** |

10,000 张发票合计净节省 3,510,000 秒，即每月 975 小时。Delos 建议，把工时换算成金额时，用节省的时间乘以原先做这项工作的人员的完全负担小时成本，即除工资外，还包括保险、福利和管理费用。

然后再减去模型、基础设施和运维人员的成本。

要交给财务的第二个数字是单个成功任务成本。按 GSPANN 的方法，只统计 AI 完成且达到约定质量阈值的工作，把产出这些工作的全部成本加总，再做除法。

在上面的例子中，如果假定手工重做的发票不算 AI 完成的工作（尽管修正后它们可能已经达标），分母就是 9,500，而不是 10,000。

**要点:** 能经得住 CFO 审视的 ROI 数字，是扣除了检查和纠错工作、并且只计入达标任务的那个数字。

## 在自己的项目里落地

先和预算负责人开一次会，而不是找最终用户。问清楚他们想改善哪项业务指标，以及什么质量阈值算“完成”。写下来，并请对方确认。

接着在旧流程上测基线：给每个任务计时，统计业务量，记录当前错误率。系统上线后，为每个任务记录三项内容：处理时间、人工复核时间，以及该任务是否需要返工。少了第三列，修复负担就永远算不出来。

最后，从一开始就谈回本周期。ACCA 引用的一项 Deloitte 调查发现，一个典型的 AI 用例需要两到四年才能实现 ROI，只有 6% 的受访者在一年内回本。承诺一个季度回本，等于给自己挖坑。

## 让数字被否掉的常见错误

最常见的错误是报告毛节省：拿 8 分钟减 45 秒再乘上去，忽略检查时间。财务的人马上会问：谁在复核这些输出？到那一步，你的数字就站不住了。

第二个错误是把失败的任务算进分母，让单任务成本显得比实际便宜。第三个是把所有改善都归功于你的项目，而客户同时还在推进另外三个项目。

第四个是依赖感知类问卷。METR 已经证明，感知不仅会在幅度上出错，连方向都可能错。

## 这项能力该写在简历哪里？

对想转型做 FDE 的开发者来说，这项能力能让简历脱颖而出。阅读岗位描述时，留意“business outcomes”“value realization”“customer success”这类字眼。它们说明公司需要的是能衡量结果的人，而不只是能把东西做出来的人。

在简历上，把“搭建了发票 OCR 数据管道”这样的描述，换成包含基线、部署后数据和通过率的表述。

## 本周练习

拿一个你交付过的功能，工作项目或个人项目都行，照着上面的发票表格做一张表：毛节省、检查时间、返工时间、净节省。凡是因为缺少实测数据而空着的格子，正是你下一个项目从第一天起就必须收集的数据。

当 CFO 出现在复盘会上，胜出的往往不是演示最炫的人，而是第一天就测了基线的人。

**本周动手试试:**

- 在当前项目中选一个工作流，手工执行 20 次并计时，得到单任务基线。
- 抽样 50 条系统输出，记录每条的检查秒数和返工率，再用本文的表格计算净节省。
- 把简历中的一行改写成“每个任务缩短 X 分钟，通过率 Y%”，而不是“搭建了 AI 数据管道”。

## 信源

- [Palantir Technologies - Forward Deployed Enablement Engineer - Customer Success](https://jobs.lever.co/palantir/a90eb029-19cc-413c-bd51-b8411053d7d4)

- [Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)

- [Why Nobody Can Total the AI Bill (GSPANN Insights)](https://www.gspann.com/insights/blog/how-to-measure-ai-roi-cost-per-successful-task)

- [AI Agent ROI: How to Measure the Business Impact of Autonomous AI Workers](https://delos.so/blog/ai-agent-roi-measure-business-impact)

- [AI investment returns elusive](https://abmagazine.accaglobal.com/global/articles/2025/dec/business/ai-investment-returns-elusive.html)

- [Generative AI's toughest question: What's it worth?](https://www.journalofaccountancy.com/issues/2025/feb/generative-ais-toughest-question-whats-it-worth/)
