FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

书籍与课程

一本 2011 年的创业书,教 AI 试点何时该停

Eric Ries 的“构建-衡量-学习”循环,让漫无边际的试点变成有假设、有指标、有决策点的实验。

封面: The Lean Startup
The Lean Startup · Eric Ries · 封面图片:Open Library
分享微博

要点速览

  • Eric Ries 主张用经证实的认知来衡量进展,而不是看交付量。
  • 每一轮构建-衡量-学习循环都以一个决定收尾:转向,还是坚持。
  • 成功阈值和失败条件必须在任何人看到数据之前写下来。
一条从 0% 到 50% 的横向刻度分为三个区间:低于 20% 为终止,20% 到 40% 为转向,40% 及以上为扩大。橙色圆点标出 24% 的结果,即 500 张工单中的 120 张,落在转向区间。
文中的示例:一个工单分类 Agent 试点,预设阈值为达到 40% 扩大、低于 20% 终止。24% 的结果落在转向区间。来源:文中示例,基于 Tristan Kromer(Kromatic)设定标准的方法。

设想一个常见场景:演示很顺利,客户频频点头,然后一周接一周过去,没有人愿意说试点到底成功还是失败。这种情况下,问题不在模型,而在于一开始没有人写下“失败是什么样子”。

Eric Ries 写《精益创业》(The Lean Startup)的对象是创业者,不是部署 AI 的工程师。美国版由 Crown Business 出版,副标题为“How Today’s Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses”;英国版由 Portfolio Penguin 于 2011 年 10 月 6 日推出,副标题为“How Constant Innovation Creates Radically Successful Businesses”。

据 Penguin 介绍,这本书销量已超过一百万册。但对前线部署工程师(FDE)来说,重读它的理由不在于此:它训练的正是在客户现场最需要的能力,即把试点设计成一场实验,有假设、有衡量、有停止点。

这本书背后是什么循环?

这套方法的核心是“构建-衡量-学习”(Build-Measure-Learn)循环。根据 Ries 公开发布的原则,创业公司的基本活动是把想法变成产品,衡量客户的反应,再从中判断该转向还是坚持。把“产品”换成“AI 试点”,就是 FDE 的工作流程。

原则页面还明确写道:不必在车库里办公也算创业。换句话说,一名在保险公司办公室里部署 Agent 的 FDE,做的正是书中描述的那类工作。

第一个观点:进展是已验证的东西,而不是已交付的东西

Ries 提出用经证实的认知(validated learning)来衡量进展。对 FDE 而言,这会改变周报的写法。“完成了 API 集成,搭好了 RAG 管道”说明你很忙,却说明不了你学到了什么。

设想一家保险公司试点一个分拣客服工单的 Agent。按经证实的认知来写,报告会是:“两周后,在测试组的 500 张工单中,Agent 在无人干预的情况下正确处理了 120 张。”这个数字能告诉你某个假设是真是假,一份完成任务清单做不到。

第二个观点:只构建衡量所需的部分

既然循环从“构建”开始,而“构建”的目的是“衡量”,那么第一次构建只要足以衡量一个假设就够了。

在上面的例子中,值得检验的假设并不是“LLM 能读懂工单”,这几乎肯定成立。真正的假设是:客户的客服团队足够信任 Agent 的输出,愿意省掉再检查一遍的步骤。

因此,第一次构建可能只是工单队列旁边的一个分类建议面板,外加统计员工采纳了多少条建议的指标。在弄清这件事值不值得做之前,多做的部分都是白费功夫。

第三个观点:停止的决定必须提前写好

每一轮构建-衡量-学习循环都以一个决定收尾:转向(pivot),即改变方向;或者坚持(persevere),即继续推进。这本书的官方页面称,书中提供了做出这一决定的方法。

这个决定只有配合创新核算(innovation accounting)才有价值。精益创业原则把创新核算称为“枯燥的部分”:如何跟踪进展,如何让创新者对结果负责。Kromatic 的 Tristan Kromer 把它落到实处,提前设定两个指标:成功标准和失败条件。

Kromer 的理由是,在证据出现之前定好明确标准,可以减少看到数据之后的偏差。他还认为,这个决定有四种结果而不是两种:除了转向和坚持,还有扩大(scale)和终止(kill)。

回到例子。开始之前,你和客户约定:两周后,Agent 必须独立处理测试组中至少 40% 的工单,试点才扩大;低于 20% 就终止。同样这两周,结果是 500 张中处理了 120 张,即 24%:不够扩大,也没低到触发终止条件。

到这一步,就不必再凭感觉争论了。你选择转向,比如收窄到 Agent 处理得好的一类工单,然后用同样的衡量方式再跑一轮两周。

停止规则在哪里出错?

最常见的错误是看到数字后再挪阈值。结果出来是 24%,有人提出“其实 20% 就已经不错了”,40% 的阈值便悄然消失。这恰恰是 Kromer 想要堵住的偏差:数据一旦可见,每个人都有理由按自己想要的方式解读。

第二个错误是退回去数交付物。数字不好看时,报告很容易滑向“新增了三个连接器,调优了提示词”。这些话也许属实,但代替不了对假设的回答,而这个回答正是经证实的认知所要求的。

第三个错误更难察觉:阈值和结果的衡量时间窗口不一致。阈值按两周设定,汇报的却是一周的数据,或者反过来,那么拿 24% 和 40% 比较就失去了意义。

一个稳妥的防范办法是:试点运行之前,把约定的阈值、时间窗口和四种结果通过邮件发给客户,这样事后谁也改不了。

怎么读,谁该读

这本书适合至少经历过一次没完没了的试点的工程师。见客户之前,读构建-衡量-学习循环和经证实的认知两部分;起草试点计划时,读创新核算部分;中期评审之前,读转向还是坚持的部分。

官方材料用的是创业公司的语言,你需要自己把“创业公司的客户”换成“客户公司里的终端用户”。如果你的客户是大公司,可以接着读 Ries 的续作《The Startup Way》(2017),Penguin Random House 介绍说,这本书面向的是 GE、Toyota 这样的企业。

从职业角度看,这项能力比想象中更容易展示。阅读 FDE 岗位描述时,留意这个岗位是否要求你负责界定试点范围、设定成功标准;如果是,就把这项能力放在简历最前面。

“设定 40% 阈值,实测 24%,收窄范围后跑了第二轮”这样一行,比十行技术栈罗列更有分量。

练习:为你的试点写一张实验单

拿出你正在做或刚做完的试点,在一页纸上写五行。第一行是风险最大的假设,用终端用户的行为来表述。第二行是要衡量的指标,以及适用于所有数字的统一时间窗口。

第三行是扩大的阈值,第四行是终止的条件。第五行提前写明:如果结果落在两者之间,你会往哪个方向转向。在任何数据出来之前把这页纸发给客户;结果出来后,只拿它和这页纸对比。

好的 FDE 不是从不叫停试点的人,而是从第一天起就知道何时叫停的人。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 7: 项目主导交付时卡住部署的,往往是隐私问题曾在 Netflix、Uber、Google 做隐私工程的 Nishant Bhajaria,用 384 页手册教你赶在客户律师发问前备好答案。