AI 演示后的十秒钟,决定整个项目的走向
能读三张精选发票的原型,不等于能处理所有发票的系统,而在场的财务负责人看不出这道差距。
要点速览
- 演示证明系统能完成任务,但不能证明它每次都能完成。生产环境要求每次都对,包括面对谁都没见过的新数据。
- 用客户的真实数据演示,在别人发现之前主动展示失败案例,只有在评测集支撑时才报出准确率。
- 把原型当作下一阶段值得投入的证据来介绍,而不是一个快要完工的产品。
设想这样一个场景。周一,一家物流公司的会计主管抱怨,她的团队常常一整个下午都耗在手工录入供应商发票上的数字。周二,你打开笔记本电脑,给她演示一个原型:它能读取发票,自动填好电子表格。
会议室里的人纷纷点头。接着,财务总监提出了每个前线部署工程师(FDE)迟早都会遇到的问题:“那下个月就能在全公司用起来了吧?”你接下来十秒钟的回答,会定下此后几个月工作的基调。
今天听需求,明天做演示:这就是这份工作的节奏。Palantir 前 FDE Shilpa Balaji 描述过这种做法:客户某天提了什么需求,就为它做一个原型,第二天带回去演示。
做得快,承诺也就容易给得快。原型在真正完成之前很久就已经像个成品,fde.academy 把过度承诺列为新晋 FDE 最常犯的错误之一。
演示究竟证明了什么?
你的原型刚刚正确读出了三张发票。这些发票是你挑的,在场有谁你也事先知道。原型只需要做到这些:在精选的数据上、在有准备的观众面前,成功运行一次。
覆盖全公司的系统则是另一回事。它必须正确读取每一张发票,包括谁都没见过的那些。财务总监看不到这道差距,她只看到屏幕上一切运行顺畅。
演示的作用是展示能力,而不是证明可靠性。EB Pearls 博客上的一篇文章认为,项目从演示走向生产环境时受挫,很少是技术原因,更多是双方的预期不一致。所以你在会议室里的首要任务不是让人眼前一亮,而是帮客户建立合理的预期。
为此,要把一个令人印象深刻的原型看作证据:它说明后面那个投入更大的阶段值得启动。务实的计划就是这样看待原型的,而不是把它当成快要完工的产品。你对财务总监的回答,应当从这里出发。
为什么要用客户自己的数据演示?
据 First Round Review 报道,Looker 的演示一律基于客户的真实数据,因此每次演示同时也是一次概念验证。Looker 没有基于假数据的销售演示。这不只是职业道德问题:真实数据会让原型立刻碰上那些日后会让它出问题的情况。
第二个原因更重要。FDE 在现场看到的情况,往往与合同里卖出去的东西相差很大。一套整洁的样例发票,只能检验合同里写下的假设。
真实的发票是斜着拍的照片,上面有手写备注,有的供应商还把总金额印在奇怪的位置。正是这些单据,能告诉你客户真正需要什么。
所以,到现场的第一件事,是要一批真实样本,包括运营团队最头疼的那些“难看”的单据。如果客户只给了干净的样本,就直接问:哪类单据最耗团队的时间?
20 分钟演示脚本,逐段拆解
回到那家假想的物流公司的会议室。下表是一份几乎可以照搬的脚本,只需换成你的业务流程。
| 环节 | 你说什么或做什么 | 目的 |
|---|---|---|
| 开场:界定范围 | “这是一个原型,运行在你们昨天发来的 50 张发票上。我会展示它能做什么,以及还有哪些不足。” | 在客户看到任何东西之前先设定预期 |
| 用真实数据运行 | 打开两三张最常见类型的发票,现场运行 | 让客户看到自己的业务流程 |
| 主动展示失败案例 | 运行一张模糊的照片,系统把总金额读错了 | 让客户看到你没有隐藏弱点 |
| 有评测支撑的数字 | “50 张发票中有 41 张所有字段都提取正确。9 个错误大多来自斜拍的照片。” | 给出客户可以自己核对的数字 |
| 权衡与下一步 | 说明处理时间、单张发票成本,以及沙箱测试计划 | 把“什么时候能做完?”变成一份计划 |
第四个环节是很多人出错的地方。原因很简单:没有评测集,输出质量开始下滑时,没有任何东西会提醒你。
Hamel Husain 说得更直接:在他看来,失败的 AI 产品几乎都有同一个根源,就是没有建立足够健全的评测体系。“50 张中 41 张”这个数字之所以有价值,是因为客户可以打开每一张发票自行核对。
第五个环节同样需要坦诚。Agent 系统通常以更高的延迟和成本换取更好的效果,财务总监在拍板之前需要知道这一点。合理的下一步,是在沙箱中配合适当的护栏进行充分测试,然后再让 Agent 真正投入运行。
到这里,你对“下个月”这个问题已经有了答案:
“下个月还不能在全公司铺开。原型表明,标准发票的自动化处理是可行的。下一步是在沙箱中与会计团队并行运行,用新数据衡量效果,然后再决定是否扩大规模。”
演示前如何准备
先准备数据,而不是幻灯片。向客户要真实样本,再为其中几十份手工标注正确答案。这很繁琐,但它能把“看起来没问题”的感觉变成一个站得住的数字。
接着,搭建能用的最简版本。Anthropic 建议只在真正需要时才增加复杂度。这也让演示保持诚实:你展示的正是你搭建的东西,没有哪一层只是为了好看而加上去的。
最后,跑一遍评测,按原因给错误分组。挑一个有代表性的错误放进演示,并提前写好开场白和对“什么时候能做完?”的回答。如果把这个回答念出来让你心里发虚,那它很可能还是在过度承诺。
把演示变成承诺的几个错误
常见的错误之一,是用精心挑选、效果好看的样例数据做演示。客户会记住那个运行流畅的系统;它第一次在真实发票上出错时,客户会觉得被误导了。
第二个错误是隐藏问题。事实上,你主动指出的失败能建立起一种可信度,这是完美无瑕的演示给不了的。
第三个错误是在没有评测集支撑的情况下说“准确率大约 95%”。第四个是为了显得厉害而搭建多步骤 Agent,结果不得不承担它的延迟和成本。第五个是在会议室里用一个具体日期回答“什么时候?”。
这五个错误有同一个根源:把演示当成了终点。fde.academy 写道,衡量 FDE 是否成功,要看客户的真实问题有没有得到解决,而不是演示有多惊艳。
在简历上体现这项能力
阅读职位描述时,看看原型(prototype)、面向客户的演示(customer-facing demo)和评测(evaluation)是否同时出现。如果是,这个岗位需要的正是这项能力。
简历上一句精炼的话就够了,例如:“基于客户真实数据搭建文档信息抽取原型;演示前构建带标注的评测集,在展示结果的同时呈现失败案例,并提出沙箱试运行阶段。”
这句话告诉读者:你做事快,也知道该在哪里停下。fde.academy 指出,客户记住那些说到做到的人,远比记住那些在会议室里显得信心十足的人要久。第一次演示,就是你兑现承诺的第一次机会。
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- So You Want to Hire a Forward Deployed Engineer (First Round Review) · 2026-02-24
- 10 Mistakes New Forward Deployed Engineers Make · 2026-07-24
- Why AI Demos Work and Production Breaks: The 80% Nobody Shows You · 2026-06-17
- Why Most AI Prototypes Never Reach Production
- Your AI Product Needs Evals · 2024-03-29
- Building effective agents · 2024-12-19