# 一本 2011 年的创业书，教 AI 试点何时该停

> Eric Ries 的“构建-衡量-学习”循环，让漫无边际的试点变成有假设、有指标、有决策点的实验。

原文: https://fdetimes.net/zh/books-courses/lean-startup-eric-ries-ai-pilots/

设想一个常见场景：演示很顺利，客户频频点头，然后一周接一周过去，没有人愿意说试点到底成功还是失败。这种情况下，问题不在模型，而在于一开始没有人写下“失败是什么样子”。

Eric Ries 写《精益创业》（*The Lean Startup*）的对象是创业者，不是部署 AI 的工程师。美国版由 Crown Business 出版，副标题为“How Today's Entrepreneurs Use Continuous Innovation to Create Radically Successful Businesses”；英国版由 Portfolio Penguin 于 2011 年 10 月 6 日推出，副标题为“How Constant Innovation Creates Radically Successful Businesses”。

据 Penguin 介绍，这本书销量已超过一百万册。但对前线部署工程师（FDE）来说，重读它的理由不在于此：它训练的正是在客户现场最需要的能力，即把试点设计成一场实验，有假设、有衡量、有停止点。

## 这本书背后是什么循环？

这套方法的核心是“构建-衡量-学习”（Build-Measure-Learn）循环。根据 Ries 公开发布的原则，创业公司的基本活动是把想法变成产品，衡量客户的反应，再从中判断该转向还是坚持。把“产品”换成“AI 试点”，就是 FDE 的工作流程。

原则页面还明确写道：不必在车库里办公也算创业。换句话说，一名在保险公司办公室里部署 Agent 的 FDE，做的正是书中描述的那类工作。

## 第一个观点：进展是已验证的东西，而不是已交付的东西

Ries 提出用经证实的认知（validated learning）来衡量进展。对 FDE 而言，这会改变周报的写法。“完成了 API 集成，搭好了 RAG 管道”说明你很忙，却说明不了你学到了什么。

设想一家保险公司试点一个分拣客服工单的 Agent。按经证实的认知来写，报告会是：“两周后，在测试组的 500 张工单中，Agent 在无人干预的情况下正确处理了 120 张。”这个数字能告诉你某个假设是真是假，一份完成任务清单做不到。

## 第二个观点：只构建衡量所需的部分

既然循环从“构建”开始，而“构建”的目的是“衡量”，那么第一次构建只要足以衡量一个假设就够了。

在上面的例子中，值得检验的假设并不是“LLM 能读懂工单”，这几乎肯定成立。真正的假设是：客户的客服团队足够信任 Agent 的输出，愿意省掉再检查一遍的步骤。

因此，第一次构建可能只是工单队列旁边的一个分类建议面板，外加统计员工采纳了多少条建议的指标。在弄清这件事值不值得做之前，多做的部分都是白费功夫。

**要点:** 试点回答的不是“能不能用”，而是“哪个假设成立”。

## 第三个观点：停止的决定必须提前写好

每一轮构建-衡量-学习循环都以一个决定收尾：转向（pivot），即改变方向；或者坚持（persevere），即继续推进。这本书的官方页面称，书中提供了做出这一决定的方法。

这个决定只有配合创新核算（innovation accounting）才有价值。精益创业原则把创新核算称为“枯燥的部分”：如何跟踪进展，如何让创新者对结果负责。Kromatic 的 Tristan Kromer 把它落到实处，提前设定两个指标：成功标准和失败条件。

Kromer 的理由是，在证据出现之前定好明确标准，可以减少看到数据之后的偏差。他还认为，这个决定有四种结果而不是两种：除了转向和坚持，还有扩大（scale）和终止（kill）。

回到例子。开始之前，你和客户约定：两周后，Agent 必须独立处理测试组中至少 40% 的工单，试点才扩大；低于 20% 就终止。同样这两周，结果是 500 张中处理了 120 张，即 24%：不够扩大，也没低到触发终止条件。

到这一步，就不必再凭感觉争论了。你选择转向，比如收窄到 Agent 处理得好的一类工单，然后用同样的衡量方式再跑一轮两周。

## 停止规则在哪里出错？

最常见的错误是看到数字后再挪阈值。结果出来是 24%，有人提出“其实 20% 就已经不错了”，40% 的阈值便悄然消失。这恰恰是 Kromer 想要堵住的偏差：数据一旦可见，每个人都有理由按自己想要的方式解读。

第二个错误是退回去数交付物。数字不好看时，报告很容易滑向“新增了三个连接器，调优了提示词”。这些话也许属实，但代替不了对假设的回答，而这个回答正是经证实的认知所要求的。

第三个错误更难察觉：阈值和结果的衡量时间窗口不一致。阈值按两周设定，汇报的却是一周的数据，或者反过来，那么拿 24% 和 40% 比较就失去了意义。

一个稳妥的防范办法是：试点运行之前，把约定的阈值、时间窗口和四种结果通过邮件发给客户，这样事后谁也改不了。

## 怎么读，谁该读

这本书适合至少经历过一次没完没了的试点的工程师。见客户之前，读构建-衡量-学习循环和经证实的认知两部分；起草试点计划时，读创新核算部分；中期评审之前，读转向还是坚持的部分。

官方材料用的是创业公司的语言，你需要自己把“创业公司的客户”换成“客户公司里的终端用户”。如果你的客户是大公司，可以接着读 Ries 的续作《The Startup Way》（2017），Penguin Random House 介绍说，这本书面向的是 GE、Toyota 这样的企业。

从职业角度看，这项能力比想象中更容易展示。阅读 FDE 岗位描述时，留意这个岗位是否要求你负责界定试点范围、设定成功标准；如果是，就把这项能力放在简历最前面。

“设定 40% 阈值，实测 24%，收窄范围后跑了第二轮”这样一行，比十行技术栈罗列更有分量。

## 练习：为你的试点写一张实验单

拿出你正在做或刚做完的试点，在一页纸上写五行。第一行是风险最大的假设，用终端用户的行为来表述。第二行是要衡量的指标，以及适用于所有数字的统一时间窗口。

第三行是扩大的阈值，第四行是终止的条件。第五行提前写明：如果结果落在两者之间，你会往哪个方向转向。在任何数据出来之前把这页纸发给客户；结果出来后，只拿它和这页纸对比。

好的 FDE 不是从不叫停试点的人，而是从第一天起就知道何时叫停的人。

**本周动手试试:**

- 针对你正在跑的试点写一句话：哪个假设一旦不成立，整个项目就会垮掉。
- 与客户约定一个成功阈值、一个失败条件，以及两者共用的同一个时间窗口。
- 在简历中加一行，写一个你根据数据叫停或调整方向的试点，附上具体数字。

## 信源

- [The Lean Startup (official book page)](https://theleanstartup.com/book)

- [The Lean Startup by Eric Ries – Penguin Books UK](https://www.penguin.co.uk/books/185058/the-lean-startup-by-ries-eric/9780670921607)

- [Principles – The Lean Startup](https://theleanstartup.com/principles)

- [The Lean Startup (official site)](https://theleanstartup.com/)

- [Why the Lean Start-Up Changes Everything – Harvard Business Review](https://hbr.org/2013/05/why-the-lean-start-up-changes-everything)

- [Pivot or Persevere Decision: The 4 Outcomes You Need to Know](https://kromatic.com/blog/how-to-make-pivot-or-persevere-decisions-in-your-innovation-accounting)

- [The Startup Way by Eric Ries – Penguin Random House](https://www.penguinrandomhouse.com/books/250646/the-startup-way-by-eric-ries/)
