一本 2011 年的创业书,教 AI 试点何时该停
Eric Ries 的“构建-衡量-学习”循环,让漫无边际的试点变成有假设、有指标、有决策点的实验。

要点速览
- Eric Ries 主张用经证实的认知来衡量进展,而不是看交付量。
- 每一轮构建-衡量-学习循环都以一个决定收尾:转向,还是坚持。
- 成功阈值和失败条件必须在任何人看到数据之前写下来。
设想一个常见场景:演示很顺利,客户频频点头,然后一周接一周过去,没有人愿意说试点到底成功还是失败。这种情况下,问题不在模型,而在于一开始没有人写下“失败是什么样子”。
Eric Ries 写《精益创业》(The Lean Startup)的对象是创业者,不是部署 AI 的工程师。美国版由 Crown Business 出版,副标题为“How Today’s Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses”;英国版由 Portfolio Penguin 于 2011 年 10 月 6 日推出,副标题为“How Constant Innovation Creates Radically Successful Businesses”。
据 Penguin 介绍,这本书销量已超过一百万册。但对前线部署工程师(FDE)来说,重读它的理由不在于此:它训练的正是在客户现场最需要的能力,即把试点设计成一场实验,有假设、有衡量、有停止点。
这本书背后是什么循环?
这套方法的核心是“构建-衡量-学习”(Build-Measure-Learn)循环。根据 Ries 公开发布的原则,创业公司的基本活动是把想法变成产品,衡量客户的反应,再从中判断该转向还是坚持。把“产品”换成“AI 试点”,就是 FDE 的工作流程。
原则页面还明确写道:不必在车库里办公也算创业。换句话说,一名在保险公司办公室里部署 Agent 的 FDE,做的正是书中描述的那类工作。
第一个观点:进展是已验证的东西,而不是已交付的东西
Ries 提出用经证实的认知(validated learning)来衡量进展。对 FDE 而言,这会改变周报的写法。“完成了 API 集成,搭好了 RAG 管道”说明你很忙,却说明不了你学到了什么。
设想一家保险公司试点一个分拣客服工单的 Agent。按经证实的认知来写,报告会是:“两周后,在测试组的 500 张工单中,Agent 在无人干预的情况下正确处理了 120 张。”这个数字能告诉你某个假设是真是假,一份完成任务清单做不到。
第二个观点:只构建衡量所需的部分
既然循环从“构建”开始,而“构建”的目的是“衡量”,那么第一次构建只要足以衡量一个假设就够了。
在上面的例子中,值得检验的假设并不是“LLM 能读懂工单”,这几乎肯定成立。真正的假设是:客户的客服团队足够信任 Agent 的输出,愿意省掉再检查一遍的步骤。
因此,第一次构建可能只是工单队列旁边的一个分类建议面板,外加统计员工采纳了多少条建议的指标。在弄清这件事值不值得做之前,多做的部分都是白费功夫。
第三个观点:停止的决定必须提前写好
每一轮构建-衡量-学习循环都以一个决定收尾:转向(pivot),即改变方向;或者坚持(persevere),即继续推进。这本书的官方页面称,书中提供了做出这一决定的方法。
这个决定只有配合创新核算(innovation accounting)才有价值。精益创业原则把创新核算称为“枯燥的部分”:如何跟踪进展,如何让创新者对结果负责。Kromatic 的 Tristan Kromer 把它落到实处,提前设定两个指标:成功标准和失败条件。
Kromer 的理由是,在证据出现之前定好明确标准,可以减少看到数据之后的偏差。他还认为,这个决定有四种结果而不是两种:除了转向和坚持,还有扩大(scale)和终止(kill)。
回到例子。开始之前,你和客户约定:两周后,Agent 必须独立处理测试组中至少 40% 的工单,试点才扩大;低于 20% 就终止。同样这两周,结果是 500 张中处理了 120 张,即 24%:不够扩大,也没低到触发终止条件。
到这一步,就不必再凭感觉争论了。你选择转向,比如收窄到 Agent 处理得好的一类工单,然后用同样的衡量方式再跑一轮两周。
停止规则在哪里出错?
最常见的错误是看到数字后再挪阈值。结果出来是 24%,有人提出“其实 20% 就已经不错了”,40% 的阈值便悄然消失。这恰恰是 Kromer 想要堵住的偏差:数据一旦可见,每个人都有理由按自己想要的方式解读。
第二个错误是退回去数交付物。数字不好看时,报告很容易滑向“新增了三个连接器,调优了提示词”。这些话也许属实,但代替不了对假设的回答,而这个回答正是经证实的认知所要求的。
第三个错误更难察觉:阈值和结果的衡量时间窗口不一致。阈值按两周设定,汇报的却是一周的数据,或者反过来,那么拿 24% 和 40% 比较就失去了意义。
一个稳妥的防范办法是:试点运行之前,把约定的阈值、时间窗口和四种结果通过邮件发给客户,这样事后谁也改不了。
怎么读,谁该读
这本书适合至少经历过一次没完没了的试点的工程师。见客户之前,读构建-衡量-学习循环和经证实的认知两部分;起草试点计划时,读创新核算部分;中期评审之前,读转向还是坚持的部分。
官方材料用的是创业公司的语言,你需要自己把“创业公司的客户”换成“客户公司里的终端用户”。如果你的客户是大公司,可以接着读 Ries 的续作《The Startup Way》(2017),Penguin Random House 介绍说,这本书面向的是 GE、Toyota 这样的企业。
从职业角度看,这项能力比想象中更容易展示。阅读 FDE 岗位描述时,留意这个岗位是否要求你负责界定试点范围、设定成功标准;如果是,就把这项能力放在简历最前面。
“设定 40% 阈值,实测 24%,收窄范围后跑了第二轮”这样一行,比十行技术栈罗列更有分量。
练习:为你的试点写一张实验单
拿出你正在做或刚做完的试点,在一页纸上写五行。第一行是风险最大的假设,用终端用户的行为来表述。第二行是要衡量的指标,以及适用于所有数字的统一时间窗口。
第三行是扩大的阈值,第四行是终止的条件。第五行提前写明:如果结果落在两者之间,你会往哪个方向转向。在任何数据出来之前把这页纸发给客户;结果出来后,只拿它和这页纸对比。
好的 FDE 不是从不叫停试点的人,而是从第一天起就知道何时叫停的人。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- The Lean Startup (official book page)
- The Lean Startup by Eric Ries – Penguin Books UK · 2011-10-06
- Principles – The Lean Startup
- The Lean Startup (official site)
- Why the Lean Start-Up Changes Everything – Harvard Business Review · 2013-05
- Pivot or Persevere Decision: The 4 Outcomes You Need to Know · 2022-06-01
- The Startup Way by Eric Ries – Penguin Random House · 2017-10-17