没测过“之前”,就证明不了“之后”
花五天给客户的手工流程计时,FDE 在被问到 ROI 时才有数字为项目辩护。
要点速览
- AI 项目的 ROI 论证落空,最常见的原因是没人测量过“之前”的状态
- 基线必须记录波动、只跟踪一个指标,并在试点开始前锁定
- FDE 就坐在客户身边,最适合在第一周给手工流程计时
HatchWorks 在一份衡量前线部署工程师(FDE)ROI 的指南中指出,AI 项目的 ROI 论证落空,最常见的原因是:没人测量过“之前”的状态。模型没问题,代码也跑通了,只是没人能拿出证明。
这个问题通常在试点第六周前后出现。客户的项目发起人问了一个再普通不过的问题:这个工具给团队省了多少时间?你知道它更快,团队里每个人也都知道。可究竟比什么快,你拿不出数字。
对 FDE 来说,这个缺口可以在第一周、写下第一行代码之前补上,只需做一件事:给客户现在的手工流程计时。下文介绍具体做法,附一个完整示例,并列出让基线失去价值的几种错误。
基线是一张快照,不只是一个数字
HatchWorks 提出的第一条规则,是在项目开始前锁定基线。Unframe 在谈 AI 试点的 ROI 时也建议,在试点部署前建立基线,并在第一天之前定好 ROI 指标和汇报节奏。
原因很简单:新工具一旦运行,旧流程就消失了,你再也无法回头去测。
至于测什么,HatchWorks 建议选首个版本所针对的那个流程指标,而且只选一个,不是十个。然后按它的真实表现记录下来,包括波动,这样你才知道“正常”是什么样子。
波动恰恰是最常被忽略的部分。如果旧流程本来就有快的周、慢的周,上线后某一周表现好并不能说明什么。没有波动数据,就分不清真正的改进和一周的好运气。
为什么该由 FDE 来测
《What is a Forward Deployed Engineer, Anyway?》一文这样描述 FDE:愿意、甚至坚持花大量时间和客户在一起,与他们紧密合作,深入问题本身。这个位置让你成为测量的最佳人选。客户那边的管理者往往只记得一个估计值,一线员工又太忙,顾不上自己做记录。
这样做还有一层好处。Rocketlane 介绍过 OSV 团队:他们在写第一行代码之前,用手工方式运行了五周项目健康度评分框架,原则是先手工验证框架,再做自动化。
据 Rocketlane 的说法,正是这段手工阶段让自动化变得可信。你的基线周也是同样的道理:测量流程的同时,你也从内部把它摸清楚了。
示例:一周的投诉邮件
假设有一家快递公司,四名员工负责处理投诉邮件。首个版本是一个智能体:读取每封邮件,分类,并预填工单。
与发起人商定的唯一指标是:从员工打开邮件,到投诉工单在系统中保存完毕,所用的分钟数。定义必须精确到这种程度,因为含糊的“处理时间”在每个人那里意思都不一样。
前两天,你坐在每个人旁边亲自计时。后三天,员工在一张简单的表格里自己记录,你抽查其中几行。日志摘录如下:
| 编号 | 类型 | 开始 | 完成 | 分钟 | 卡在哪里 |
|---|---|---|---|---|---|
| C-07 | 物品损坏,附照片 | 09:12 | 09:19 | 7 | — |
| C-08 | 包裹丢失 | 09:20 | 10:04 | 44 | 等待仓库确认 |
| C-09 | 地址错误 | 09:31 | 09:42 | 11 | — |
| C-10 | 物品损坏,无照片 | 10:05 | 10:31 | 26 | 发邮件向客户询问细节 |
| C-11 | 包裹丢失 | 10:40 | 11:38 | 58 | 等待仓库确认 |
假设到周末你记了 40 行,平均值 19 分钟,中位数 14 分钟,p90 为 38 分钟。平均值被一条长尾拉高,而这条长尾几乎全是等仓库确认的“包裹丢失”案例。如果只报告 19 分钟,这一周最重要的发现就被埋没了。
现在用汇报结果时的方式来读这些数据。如果智能体只加快了简单案例,中位数可能大幅下降,p90 却仍卡在 38 分钟,因为瓶颈在仓库,而不在读邮件。
第一周就知道这一点,你只会向客户承诺真正能改进的部分;如果想把范围扩展到与仓库的沟通,证据也已经在手。
按日期拆分还能学到一课。假设周一的中位数明显高于其他日子,因为周末积压了邮件。如果之后只测周中,你会在无意中夸大效果。
五天建立基线
第一天,与发起人坐下来商定唯一的指标,包括起点、终点和数据记录位置。第二天,坐在一线员工旁边亲自计时,记下每次卡住的原因。从第三天起,把表格交给客户团队,随机抽查若干行,保证数据干净。
周末计算中位数和 p90,再按任务类型和日期拆分。给发起人写一页纸,写明数字、波动以及双方商定的汇报节奏,比如每两周一次。
条件允许时,Unframe 建议设一个对照组:同一时期,两名员工用智能体,另外两名仍手工处理。有了对照组,谁也不能说改进只是赶上了清闲的一周。
让基线失去价值的错误
最常见的错误是靠问而不是靠测。“每封邮件大概十五分钟”是受访者的记忆,不是数据,而且通常完全漏掉了长尾。第二个错误是同时跟踪十几个指标,结果没有一个积累到足以支撑结论的数据。
第三个错误更难察觉:边测量边改流程。第二天你给员工提了个小捷径,剩下的数据就不再是“之前”了。所有改进想法都记在本子上,留到下一周再说。
最后一个是在演示已经被试用之后才去测量。一旦团队里有一半人用过新工具,基线就被污染了。这正是 HatchWorks 和 Unframe 都强调“开始之前”的原因。
简历上的一行胜过十个功能
基线还能为你的简历提供实打实的内容。与其写“构建了一个邮件分类智能体”,不如这样写:第一周建立了 40 个案例的基线,将处理时间中位数从 X 分钟降至 Y 分钟。
在 FDE 面试中,讲讲你如何选定指标、如何发现长尾,能让对方看到你不仅能用演示、也能用数字证明价值。
阅读岗位描述时,看到“measure impact”“outcomes”或“prove value”这类说法,就是你在申请材料和面试中讲基线故事的切入点。
第六周的那个问题终究会来。如果你从第一周就开始测量,答案就在一张表格里。
这篇文章对你有帮助吗?
感谢你的反馈!