# AI 演示后的十秒钟，决定整个项目的走向

> 能读三张精选发票的原型，不等于能处理所有发票的系统，而在场的财务负责人看不出这道差距。

原文: https://fdetimes.net/zh/guides/demo-ai-prototype-without-overpromising/

设想这样一个场景。周一，一家物流公司的会计主管抱怨，她的团队常常一整个下午都耗在手工录入供应商发票上的数字。周二，你打开笔记本电脑，给她演示一个原型：它能读取发票，自动填好电子表格。

会议室里的人纷纷点头。接着，财务总监提出了每个前线部署工程师（FDE）迟早都会遇到的问题：“那下个月就能在全公司用起来了吧？”你接下来十秒钟的回答，会定下此后几个月工作的基调。

今天听需求，明天做演示：这就是这份工作的节奏。Palantir 前 FDE Shilpa Balaji 描述过这种做法：客户某天提了什么需求，就为它做一个原型，第二天带回去演示。

做得快，承诺也就容易给得快。原型在真正完成之前很久就已经像个成品，fde.academy 把过度承诺列为新晋 FDE 最常犯的错误之一。

## 演示究竟证明了什么？

你的原型刚刚正确读出了三张发票。这些发票是你挑的，在场有谁你也事先知道。原型只需要做到这些：在精选的数据上、在有准备的观众面前，成功运行一次。

覆盖全公司的系统则是另一回事。它必须正确读取每一张发票，包括谁都没见过的那些。财务总监看不到这道差距，她只看到屏幕上一切运行顺畅。

演示的作用是展示能力，而不是证明可靠性。EB Pearls 博客上的一篇文章认为，项目从演示走向生产环境时受挫，很少是技术原因，更多是双方的预期不一致。所以你在会议室里的首要任务不是让人眼前一亮，而是帮客户建立合理的预期。

为此，要把一个令人印象深刻的原型看作证据：它说明后面那个投入更大的阶段值得启动。务实的计划就是这样看待原型的，而不是把它当成快要完工的产品。你对财务总监的回答，应当从这里出发。

**要点:** 演示证明系统能完成任务，而不是证明它每次都能完成。

## 为什么要用客户自己的数据演示？

据 First Round Review 报道，Looker 的演示一律基于客户的真实数据，因此每次演示同时也是一次概念验证。Looker 没有基于假数据的销售演示。这不只是职业道德问题：真实数据会让原型立刻碰上那些日后会让它出问题的情况。

第二个原因更重要。FDE 在现场看到的情况，往往与合同里卖出去的东西相差很大。一套整洁的样例发票，只能检验合同里写下的假设。

真实的发票是斜着拍的照片，上面有手写备注，有的供应商还把总金额印在奇怪的位置。正是这些单据，能告诉你客户真正需要什么。

所以，到现场的第一件事，是要一批真实样本，包括运营团队最头疼的那些“难看”的单据。如果客户只给了干净的样本，就直接问：哪类单据最耗团队的时间？

## 20 分钟演示脚本，逐段拆解

回到那家假想的物流公司的会议室。下表是一份几乎可以照搬的脚本，只需换成你的业务流程。

| 环节 | 你说什么或做什么 | 目的 |
|---|---|---|
| 开场：界定范围 | “这是一个原型，运行在你们昨天发来的 50 张发票上。我会展示它能做什么，以及还有哪些不足。” | 在客户看到任何东西之前先设定预期 |
| 用真实数据运行 | 打开两三张最常见类型的发票，现场运行 | 让客户看到自己的业务流程 |
| 主动展示失败案例 | 运行一张模糊的照片，系统把总金额读错了 | 让客户看到你没有隐藏弱点 |
| 有评测支撑的数字 | “50 张发票中有 41 张所有字段都提取正确。9 个错误大多来自斜拍的照片。” | 给出客户可以自己核对的数字 |
| 权衡与下一步 | 说明处理时间、单张发票成本，以及沙箱测试计划 | 把“什么时候能做完？”变成一份计划 |

第四个环节是很多人出错的地方。原因很简单：没有评测集，输出质量开始下滑时，没有任何东西会提醒你。

Hamel Husain 说得更直接：在他看来，失败的 AI 产品几乎都有同一个根源，就是没有建立足够健全的评测体系。“50 张中 41 张”这个数字之所以有价值，是因为客户可以打开每一张发票自行核对。

第五个环节同样需要坦诚。Agent 系统通常以更高的延迟和成本换取更好的效果，财务总监在拍板之前需要知道这一点。合理的下一步，是在沙箱中配合适当的护栏进行充分测试，然后再让 Agent 真正投入运行。

到这里，你对“下个月”这个问题已经有了答案：

“下个月还不能在全公司铺开。原型表明，标准发票的自动化处理是可行的。下一步是在沙箱中与会计团队并行运行，用新数据衡量效果，然后再决定是否扩大规模。”

## 演示前如何准备

先准备数据，而不是幻灯片。向客户要真实样本，再为其中几十份手工标注正确答案。这很繁琐，但它能把“看起来没问题”的感觉变成一个站得住的数字。

接着，搭建能用的最简版本。Anthropic 建议只在真正需要时才增加复杂度。这也让演示保持诚实：你展示的正是你搭建的东西，没有哪一层只是为了好看而加上去的。

最后，跑一遍评测，按原因给错误分组。挑一个有代表性的错误放进演示，并提前写好开场白和对“什么时候能做完？”的回答。如果把这个回答念出来让你心里发虚，那它很可能还是在过度承诺。

## 把演示变成承诺的几个错误

常见的错误之一，是用精心挑选、效果好看的样例数据做演示。客户会记住那个运行流畅的系统；它第一次在真实发票上出错时，客户会觉得被误导了。

第二个错误是隐藏问题。事实上，你主动指出的失败能建立起一种可信度，这是完美无瑕的演示给不了的。

第三个错误是在没有评测集支撑的情况下说“准确率大约 95%”。第四个是为了显得厉害而搭建多步骤 Agent，结果不得不承担它的延迟和成本。第五个是在会议室里用一个具体日期回答“什么时候？”。

这五个错误有同一个根源：把演示当成了终点。fde.academy 写道，衡量 FDE 是否成功，要看客户的真实问题有没有得到解决，而不是演示有多惊艳。

## 在简历上体现这项能力

阅读职位描述时，看看原型（prototype）、面向客户的演示（customer-facing demo）和评测（evaluation）是否同时出现。如果是，这个岗位需要的正是这项能力。

简历上一句精炼的话就够了，例如：“基于客户真实数据搭建文档信息抽取原型；演示前构建带标注的评测集，在展示结果的同时呈现失败案例，并提出沙箱试运行阶段。”

这句话告诉读者：你做事快，也知道该在哪里停下。fde.academy 指出，客户记住那些说到做到的人，远比记住那些在会议室里显得信心十足的人要久。第一次演示，就是你兑现承诺的第一次机会。

**本周动手试试:**

- 拿一个现成的原型，手工标注 30–50 份真实数据样本并运行。记录准确率，按原因给错误分组。
- 写好一句界定范围的开场白，以及对“什么时候能上线？”的回答，然后念给同事听，让对方提出质疑。
- 挑一个真实的失败案例放进演示。练习解释系统为什么会出错，以及哪个阶段会解决它。

## 信源

- [So You Want to Hire a Forward Deployed Engineer (First Round Review)](https://review.firstround.com/so-you-want-to-hire-a-forward-deployed-engineer.md)

- [10 Mistakes New Forward Deployed Engineers Make](https://fde.academy/blog/mistakes-new-forward-deployed-engineers-make)

- [Why AI Demos Work and Production Breaks: The 80% Nobody Shows You](https://ebpearls.com.au/blog/ai-demos-vs-production)

- [Why Most AI Prototypes Never Reach Production](https://softcircles.com/blog/why-most-ai-prototypes-never-reach-production)

- [Your AI Product Needs Evals](https://hamel.dev/blog/posts/evals/)

- [Building effective agents](https://www.anthropic.com/engineering/building-effective-agents)
