FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

AI 演示后的十秒钟,决定整个项目的走向

能读三张精选发票的原型,不等于能处理所有发票的系统,而在场的财务负责人看不出这道差距。

分享微博

要点速览

  • 演示证明系统能完成任务,但不能证明它每次都能完成。生产环境要求每次都对,包括面对谁都没见过的新数据。
  • 用客户的真实数据演示,在别人发现之前主动展示失败案例,只有在评测集支撑时才报出准确率。
  • 把原型当作下一阶段值得投入的证据来介绍,而不是一个快要完工的产品。
信息图由五张依次排列的卡片组成,展示一份 20 分钟 AI 原型演示脚本。01 界定范围:这是一个原型,运行在客户昨天发来的 50 张发票上。02 真实数据:现场运行两三张最常见类型的发票。03 展示失败:一张模糊的照片让系统读错了总金额。04 用橙色突出显示,评测数字:50 张发票中有 41 张所有字段提取正确,9 个错误大多来自斜拍的照片,这是多数人出错的地方。05 下一步:处理时间、单张发票成本和沙箱试运行计划。下方横条回答“下个月能运行吗?”:下个月还不能在全公司运行;先在沙箱中与会计团队并行运行,用新数据测试,然后再决定是否扩大规模。
诚实的演示从一开始就设定预期,主动向客户展示失败案例,并用背后的评测数字回答“什么时候能做完?”。

设想这样一个场景。周一,一家物流公司的会计主管抱怨,她的团队常常一整个下午都耗在手工录入供应商发票上的数字。周二,你打开笔记本电脑,给她演示一个原型:它能读取发票,自动填好电子表格。

会议室里的人纷纷点头。接着,财务总监提出了每个前线部署工程师(FDE)迟早都会遇到的问题:“那下个月就能在全公司用起来了吧?”你接下来十秒钟的回答,会定下此后几个月工作的基调。

今天听需求,明天做演示:这就是这份工作的节奏。Palantir 前 FDE Shilpa Balaji 描述过这种做法:客户某天提了什么需求,就为它做一个原型,第二天带回去演示。

做得快,承诺也就容易给得快。原型在真正完成之前很久就已经像个成品,fde.academy 把过度承诺列为新晋 FDE 最常犯的错误之一。

演示究竟证明了什么?

你的原型刚刚正确读出了三张发票。这些发票是你挑的,在场有谁你也事先知道。原型只需要做到这些:在精选的数据上、在有准备的观众面前,成功运行一次。

覆盖全公司的系统则是另一回事。它必须正确读取每一张发票,包括谁都没见过的那些。财务总监看不到这道差距,她只看到屏幕上一切运行顺畅。

演示的作用是展示能力,而不是证明可靠性。EB Pearls 博客上的一篇文章认为,项目从演示走向生产环境时受挫,很少是技术原因,更多是双方的预期不一致。所以你在会议室里的首要任务不是让人眼前一亮,而是帮客户建立合理的预期。

为此,要把一个令人印象深刻的原型看作证据:它说明后面那个投入更大的阶段值得启动。务实的计划就是这样看待原型的,而不是把它当成快要完工的产品。你对财务总监的回答,应当从这里出发。

为什么要用客户自己的数据演示?

据 First Round Review 报道,Looker 的演示一律基于客户的真实数据,因此每次演示同时也是一次概念验证。Looker 没有基于假数据的销售演示。这不只是职业道德问题:真实数据会让原型立刻碰上那些日后会让它出问题的情况。

第二个原因更重要。FDE 在现场看到的情况,往往与合同里卖出去的东西相差很大。一套整洁的样例发票,只能检验合同里写下的假设。

真实的发票是斜着拍的照片,上面有手写备注,有的供应商还把总金额印在奇怪的位置。正是这些单据,能告诉你客户真正需要什么。

所以,到现场的第一件事,是要一批真实样本,包括运营团队最头疼的那些“难看”的单据。如果客户只给了干净的样本,就直接问:哪类单据最耗团队的时间?

20 分钟演示脚本,逐段拆解

回到那家假想的物流公司的会议室。下表是一份几乎可以照搬的脚本,只需换成你的业务流程。

环节 你说什么或做什么 目的
开场:界定范围 “这是一个原型,运行在你们昨天发来的 50 张发票上。我会展示它能做什么,以及还有哪些不足。” 在客户看到任何东西之前先设定预期
用真实数据运行 打开两三张最常见类型的发票,现场运行 让客户看到自己的业务流程
主动展示失败案例 运行一张模糊的照片,系统把总金额读错了 让客户看到你没有隐藏弱点
有评测支撑的数字 “50 张发票中有 41 张所有字段都提取正确。9 个错误大多来自斜拍的照片。” 给出客户可以自己核对的数字
权衡与下一步 说明处理时间、单张发票成本,以及沙箱测试计划 把“什么时候能做完?”变成一份计划

第四个环节是很多人出错的地方。原因很简单:没有评测集,输出质量开始下滑时,没有任何东西会提醒你。

Hamel Husain 说得更直接:在他看来,失败的 AI 产品几乎都有同一个根源,就是没有建立足够健全的评测体系。“50 张中 41 张”这个数字之所以有价值,是因为客户可以打开每一张发票自行核对。

第五个环节同样需要坦诚。Agent 系统通常以更高的延迟和成本换取更好的效果,财务总监在拍板之前需要知道这一点。合理的下一步,是在沙箱中配合适当的护栏进行充分测试,然后再让 Agent 真正投入运行。

到这里,你对“下个月”这个问题已经有了答案:

“下个月还不能在全公司铺开。原型表明,标准发票的自动化处理是可行的。下一步是在沙箱中与会计团队并行运行,用新数据衡量效果,然后再决定是否扩大规模。”

演示前如何准备

先准备数据,而不是幻灯片。向客户要真实样本,再为其中几十份手工标注正确答案。这很繁琐,但它能把“看起来没问题”的感觉变成一个站得住的数字。

接着,搭建能用的最简版本。Anthropic 建议只在真正需要时才增加复杂度。这也让演示保持诚实:你展示的正是你搭建的东西,没有哪一层只是为了好看而加上去的。

最后,跑一遍评测,按原因给错误分组。挑一个有代表性的错误放进演示,并提前写好开场白和对“什么时候能做完?”的回答。如果把这个回答念出来让你心里发虚,那它很可能还是在过度承诺。

把演示变成承诺的几个错误

常见的错误之一,是用精心挑选、效果好看的样例数据做演示。客户会记住那个运行流畅的系统;它第一次在真实发票上出错时,客户会觉得被误导了。

第二个错误是隐藏问题。事实上,你主动指出的失败能建立起一种可信度,这是完美无瑕的演示给不了的。

第三个错误是在没有评测集支撑的情况下说“准确率大约 95%”。第四个是为了显得厉害而搭建多步骤 Agent,结果不得不承担它的延迟和成本。第五个是在会议室里用一个具体日期回答“什么时候?”。

这五个错误有同一个根源:把演示当成了终点。fde.academy 写道,衡量 FDE 是否成功,要看客户的真实问题有没有得到解决,而不是演示有多惊艳。

在简历上体现这项能力

阅读职位描述时,看看原型(prototype)、面向客户的演示(customer-facing demo)和评测(evaluation)是否同时出现。如果是,这个岗位需要的正是这项能力。

简历上一句精炼的话就够了,例如:“基于客户真实数据搭建文档信息抽取原型;演示前构建带标注的评测集,在展示结果的同时呈现失败案例,并提出沙箱试运行阶段。”

这句话告诉读者:你做事快,也知道该在哪里停下。fde.academy 指出,客户记住那些说到做到的人,远比记住那些在会议室里显得信心十足的人要久。第一次演示,就是你兑现承诺的第一次机会。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 4: 客户工作新 FDE 的六周见效期,实际只有四周前两周耗在内部入职上,计划必须在第五周撞墙前,和客户敲定一个小而见效的任务。