FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

没测过“之前”,就证明不了“之后”

花五天给客户的手工流程计时,FDE 在被问到 ROI 时才有数字为项目辩护。

分享微博

要点速览

  • AI 项目的 ROI 论证落空,最常见的原因是没人测量过“之前”的状态
  • 基线必须记录波动、只跟踪一个指标,并在试点开始前锁定
  • FDE 就坐在客户身边,最适合在第一周给手工流程计时
水平条形图,展示一个假设示例中 40 个客户投诉邮件案例的处理时间:中位数 14 分钟,平均值 19 分钟,p90 为 38 分钟。p90 条形标为橙色,代表长尾,主要来自等待仓库确认的包裹丢失案例。
只汇报 19 分钟的平均值,就会漏掉长尾:p90 达到 38 分钟,主要是等待仓库回复的包裹丢失案例。来源:文中假设示例,40 个投诉邮件案例一周的基线数据。

HatchWorks 在一份衡量前线部署工程师(FDE)ROI 的指南中指出,AI 项目的 ROI 论证落空,最常见的原因是:没人测量过“之前”的状态。模型没问题,代码也跑通了,只是没人能拿出证明。

这个问题通常在试点第六周前后出现。客户的项目发起人问了一个再普通不过的问题:这个工具给团队省了多少时间?你知道它更快,团队里每个人也都知道。可究竟比什么快,你拿不出数字。

对 FDE 来说,这个缺口可以在第一周、写下第一行代码之前补上,只需做一件事:给客户现在的手工流程计时。下文介绍具体做法,附一个完整示例,并列出让基线失去价值的几种错误。

基线是一张快照,不只是一个数字

HatchWorks 提出的第一条规则,是在项目开始前锁定基线。Unframe 在谈 AI 试点的 ROI 时也建议,在试点部署前建立基线,并在第一天之前定好 ROI 指标和汇报节奏。

原因很简单:新工具一旦运行,旧流程就消失了,你再也无法回头去测。

至于测什么,HatchWorks 建议选首个版本所针对的那个流程指标,而且只选一个,不是十个。然后按它的真实表现记录下来,包括波动,这样你才知道“正常”是什么样子。

波动恰恰是最常被忽略的部分。如果旧流程本来就有快的周、慢的周,上线后某一周表现好并不能说明什么。没有波动数据,就分不清真正的改进和一周的好运气。

为什么该由 FDE 来测

《What is a Forward Deployed Engineer, Anyway?》一文这样描述 FDE:愿意、甚至坚持花大量时间和客户在一起,与他们紧密合作,深入问题本身。这个位置让你成为测量的最佳人选。客户那边的管理者往往只记得一个估计值,一线员工又太忙,顾不上自己做记录。

这样做还有一层好处。Rocketlane 介绍过 OSV 团队:他们在写第一行代码之前,用手工方式运行了五周项目健康度评分框架,原则是先手工验证框架,再做自动化。

据 Rocketlane 的说法,正是这段手工阶段让自动化变得可信。你的基线周也是同样的道理:测量流程的同时,你也从内部把它摸清楚了。

示例:一周的投诉邮件

假设有一家快递公司,四名员工负责处理投诉邮件。首个版本是一个智能体:读取每封邮件,分类,并预填工单。

与发起人商定的唯一指标是:从员工打开邮件,到投诉工单在系统中保存完毕,所用的分钟数。定义必须精确到这种程度,因为含糊的“处理时间”在每个人那里意思都不一样。

前两天,你坐在每个人旁边亲自计时。后三天,员工在一张简单的表格里自己记录,你抽查其中几行。日志摘录如下:

编号 类型 开始 完成 分钟 卡在哪里
C-07 物品损坏,附照片 09:12 09:19 7 —
C-08 包裹丢失 09:20 10:04 44 等待仓库确认
C-09 地址错误 09:31 09:42 11 —
C-10 物品损坏,无照片 10:05 10:31 26 发邮件向客户询问细节
C-11 包裹丢失 10:40 11:38 58 等待仓库确认

假设到周末你记了 40 行,平均值 19 分钟,中位数 14 分钟,p90 为 38 分钟。平均值被一条长尾拉高,而这条长尾几乎全是等仓库确认的“包裹丢失”案例。如果只报告 19 分钟,这一周最重要的发现就被埋没了。

现在用汇报结果时的方式来读这些数据。如果智能体只加快了简单案例,中位数可能大幅下降,p90 却仍卡在 38 分钟,因为瓶颈在仓库,而不在读邮件。

第一周就知道这一点,你只会向客户承诺真正能改进的部分;如果想把范围扩展到与仓库的沟通,证据也已经在手。

按日期拆分还能学到一课。假设周一的中位数明显高于其他日子,因为周末积压了邮件。如果之后只测周中,你会在无意中夸大效果。

五天建立基线

第一天,与发起人坐下来商定唯一的指标,包括起点、终点和数据记录位置。第二天,坐在一线员工旁边亲自计时,记下每次卡住的原因。从第三天起,把表格交给客户团队,随机抽查若干行,保证数据干净。

周末计算中位数和 p90,再按任务类型和日期拆分。给发起人写一页纸,写明数字、波动以及双方商定的汇报节奏,比如每两周一次。

条件允许时,Unframe 建议设一个对照组:同一时期,两名员工用智能体,另外两名仍手工处理。有了对照组,谁也不能说改进只是赶上了清闲的一周。

让基线失去价值的错误

最常见的错误是靠问而不是靠测。“每封邮件大概十五分钟”是受访者的记忆,不是数据,而且通常完全漏掉了长尾。第二个错误是同时跟踪十几个指标,结果没有一个积累到足以支撑结论的数据。

第三个错误更难察觉:边测量边改流程。第二天你给员工提了个小捷径,剩下的数据就不再是“之前”了。所有改进想法都记在本子上,留到下一周再说。

最后一个是在演示已经被试用之后才去测量。一旦团队里有一半人用过新工具,基线就被污染了。这正是 HatchWorks 和 Unframe 都强调“开始之前”的原因。

简历上的一行胜过十个功能

基线还能为你的简历提供实打实的内容。与其写“构建了一个邮件分类智能体”,不如这样写:第一周建立了 40 个案例的基线,将处理时间中位数从 X 分钟降至 Y 分钟。

在 FDE 面试中,讲讲你如何选定指标、如何发现长尾,能让对方看到你不仅能用演示、也能用数字证明价值。

阅读岗位描述时,看到“measure impact”“outcomes”或“prove value”这类说法,就是你在申请材料和面试中讲基线故事的切入点。

第六周的那个问题终究会来。如果你从第一周就开始测量,答案就在一张表格里。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量写邮件路由 Agent 之前,先建一个 40 封邮件的评测一个团队标签枚举、一个 pytest 文件、40 封真实邮件,足以让你在面试官面前用数字讲清路由设计。