# 没测过“之前”，就证明不了“之后”

> 花五天给客户的手工流程计时，FDE 在被问到 ROI 时才有数字为项目辩护。

原文: https://fdetimes.net/zh/guides/measure-baseline-before-ai-pilot/

HatchWorks 在一份衡量前线部署工程师（FDE）ROI 的指南中指出，AI 项目的 ROI 论证落空，最常见的原因是：没人测量过“之前”的状态。模型没问题，代码也跑通了，只是没人能拿出证明。

这个问题通常在试点第六周前后出现。客户的项目发起人问了一个再普通不过的问题：这个工具给团队省了多少时间？你知道它更快，团队里每个人也都知道。可究竟比什么快，你拿不出数字。

对 FDE 来说，这个缺口可以在第一周、写下第一行代码之前补上，只需做一件事：给客户现在的手工流程计时。下文介绍具体做法，附一个完整示例，并列出让基线失去价值的几种错误。

## 基线是一张快照，不只是一个数字

HatchWorks 提出的第一条规则，是在项目开始前锁定基线。Unframe 在谈 AI 试点的 ROI 时也建议，在试点部署前建立基线，并在第一天之前定好 ROI 指标和汇报节奏。

原因很简单：新工具一旦运行，旧流程就消失了，你再也无法回头去测。

至于测什么，HatchWorks 建议选首个版本所针对的那个流程指标，而且只选一个，不是十个。然后按它的真实表现记录下来，包括波动，这样你才知道“正常”是什么样子。

波动恰恰是最常被忽略的部分。如果旧流程本来就有快的周、慢的周，上线后某一周表现好并不能说明什么。没有波动数据，就分不清真正的改进和一周的好运气。

## 为什么该由 FDE 来测

《What is a Forward Deployed Engineer, Anyway?》一文这样描述 FDE：愿意、甚至坚持花大量时间和客户在一起，与他们紧密合作，深入问题本身。这个位置让你成为测量的最佳人选。客户那边的管理者往往只记得一个估计值，一线员工又太忙，顾不上自己做记录。

这样做还有一层好处。Rocketlane 介绍过 OSV 团队：他们在写第一行代码之前，用手工方式运行了五周项目健康度评分框架，原则是先手工验证框架，再做自动化。

据 Rocketlane 的说法，正是这段手工阶段让自动化变得可信。你的基线周也是同样的道理：测量流程的同时，你也从内部把它摸清楚了。

**要点:** 新工具一旦运行，旧流程就消失了，你再也无法测量它。

## 示例：一周的投诉邮件

假设有一家快递公司，四名员工负责处理投诉邮件。首个版本是一个智能体：读取每封邮件，分类，并预填工单。

与发起人商定的唯一指标是：从员工打开邮件，到投诉工单在系统中保存完毕，所用的分钟数。定义必须精确到这种程度，因为含糊的“处理时间”在每个人那里意思都不一样。

前两天，你坐在每个人旁边亲自计时。后三天，员工在一张简单的表格里自己记录，你抽查其中几行。日志摘录如下：

| 编号 | 类型 | 开始 | 完成 | 分钟 | 卡在哪里 |
|---|---|---|---|---|---|
| C-07 | 物品损坏，附照片 | 09:12 | 09:19 | 7 | — |
| C-08 | 包裹丢失 | 09:20 | 10:04 | 44 | 等待仓库确认 |
| C-09 | 地址错误 | 09:31 | 09:42 | 11 | — |
| C-10 | 物品损坏，无照片 | 10:05 | 10:31 | 26 | 发邮件向客户询问细节 |
| C-11 | 包裹丢失 | 10:40 | 11:38 | 58 | 等待仓库确认 |

假设到周末你记了 40 行，平均值 19 分钟，中位数 14 分钟，p90 为 38 分钟。平均值被一条长尾拉高，而这条长尾几乎全是等仓库确认的“包裹丢失”案例。如果只报告 19 分钟，这一周最重要的发现就被埋没了。

现在用汇报结果时的方式来读这些数据。如果智能体只加快了简单案例，中位数可能大幅下降，p90 却仍卡在 38 分钟，因为瓶颈在仓库，而不在读邮件。

第一周就知道这一点，你只会向客户承诺真正能改进的部分；如果想把范围扩展到与仓库的沟通，证据也已经在手。

按日期拆分还能学到一课。假设周一的中位数明显高于其他日子，因为周末积压了邮件。如果之后只测周中，你会在无意中夸大效果。

## 五天建立基线

第一天，与发起人坐下来商定唯一的指标，包括起点、终点和数据记录位置。第二天，坐在一线员工旁边亲自计时，记下每次卡住的原因。从第三天起，把表格交给客户团队，随机抽查若干行，保证数据干净。

周末计算中位数和 p90，再按任务类型和日期拆分。给发起人写一页纸，写明数字、波动以及双方商定的汇报节奏，比如每两周一次。

条件允许时，Unframe 建议设一个对照组：同一时期，两名员工用智能体，另外两名仍手工处理。有了对照组，谁也不能说改进只是赶上了清闲的一周。

## 让基线失去价值的错误

最常见的错误是靠问而不是靠测。“每封邮件大概十五分钟”是受访者的记忆，不是数据，而且通常完全漏掉了长尾。第二个错误是同时跟踪十几个指标，结果没有一个积累到足以支撑结论的数据。

第三个错误更难察觉：边测量边改流程。第二天你给员工提了个小捷径，剩下的数据就不再是“之前”了。所有改进想法都记在本子上，留到下一周再说。

最后一个是在演示已经被试用之后才去测量。一旦团队里有一半人用过新工具，基线就被污染了。这正是 HatchWorks 和 Unframe 都强调“开始之前”的原因。

## 简历上的一行胜过十个功能

基线还能为你的简历提供实打实的内容。与其写“构建了一个邮件分类智能体”，不如这样写：第一周建立了 40 个案例的基线，将处理时间中位数从 X 分钟降至 Y 分钟。

在 FDE 面试中，讲讲你如何选定指标、如何发现长尾，能让对方看到你不仅能用演示、也能用数字证明价值。

阅读岗位描述时，看到“measure impact”“outcomes”或“prove value”这类说法，就是你在申请材料和面试中讲基线故事的切入点。

第六周的那个问题终究会来。如果你从第一周就开始测量，答案就在一张表格里。

**本周动手试试:**

- 在客户那里（或你自己团队中）选一个手工流程，用一句话写出指标定义，包含起点和终点
- 记录至少 20 次真实执行，包括开始时间、完成时间、任务类型以及卡住的原因
- 计算中位数和 p90，再为项目发起人写一页基线说明

## 信源

- [How to Measure the ROI of a Forward Deployed Engineer](https://hatchworks.com/blog/fde/measure-the-roi/)

- [How to Automate Project Hygiene — Replacing Gut Feel with Real-Time Risk Scoring](https://blog.rocketlane.com/blogs/project-hygiene-automation)

- [How to Measure the ROI of AI Pilot Projects (Unframe AI)](https://www.unframe.ai/blog/how-to-measure-ai-pilot-roi)

- [What is a Forward Deployed Engineer, Anyway?](https://fourthage.substack.com/p/what-is-a-forward-deployed-engineer)
