AI 项目里,演示是最容易的一步
Gartner 预计至少 30% 的生成式 AI 项目止步于概念验证,补上这道缺口正是 FDE 的工作。
要点速览
- Gartner 预测,到 2025 年底,至少 30% 的生成式 AI 项目会在 POC 之后被放弃,原因包括数据质量差、风险控制不足、成本上升或价值不明确。
- 演示只能证明模型能完成任务。生产环境还需要胶水代码、系统集成和维护;Google 研究人员发现,这些占了系统的绝大部分。
- FDE 应在真实数据上评测,把集成工作单独估算,并在演示前与客户商定一个业务指标。
演示刚结束,客户很满意。这时运营负责人问了一个听上去很简单的问题:“我的团队什么时候能真正用上?”如果因为演示很顺利就回答“几周吧”,你很可能刚刚许下了一个自己从未估算过的承诺。
大量 AI 项目恰恰卡在这个问题上。Gartner 预测,到 2025 年底,至少 30% 的生成式 AI 项目会在概念验证(POC)阶段之后被放弃。
MIT NANDA 的报告 The GenAI Divide 说得更重,认为企业 AI 解决方案的失败率高达 95%。不过,这个数字来自小样本的初步研究,不应视为全行业的比例。
对前线部署工程师(FDE)来说,这件事直接相关。你的职责是让系统在客户现场的生产环境中跑起来。你最有价值的能力,是在第一天就看清 POC 与生产环境之间的差距,而不是到第六个月才发现。
演示和生产环境回答的是不同的问题
演示回答的问题是:“模型能不能完成这项任务?”生产环境要回答的问题更难:“这个系统能不能在客户的组织里活下来?”回答这两个问题所需的工作量相差极大。
Google 的 Sculley 等人在 NeurIPS 2015 上发表的论文《Hidden Technical Debt in Machine Learning Systems》,十多年前就指出了这一点:在很多机器学习系统中,真正负责学习或预测的代码只占很小一部分。
作者估计,一个成熟系统中机器学习代码最多占 5%,胶水代码至少占 95%。他们还发现,真实世界中的机器学习系统往往背负着巨大且长期持续的维护成本。
演示几乎完全由这 5% 构成。所以,根据演示估算工期,估的只是项目的一小部分。
演示掩盖的五道缺口
Gartner 列出了生成式 AI 项目在 POC 后停下的四个主要原因:数据质量差、风险控制不足、成本不断攀升,以及业务价值不明确。HatchWorks 是一家服务公司,自己运营着一个关于前线部署工程的博客,它补充了第五道缺口:集成。
数据缺口通常发现得很晚。HatchWorks 说得很简洁:试点跑在精选的数据片段上,而生产环境必须跑在真实数据源上,这些数据既杂乱又在不断变化。集成缺口则往往被低估。
据 HatchWorks 称,对接现有系统常常占了实际工作的大部分,但按演示定预算时,这部分经常被漏掉。
成本是最难预测的一道缺口。Gartner 的 Rita Sallam 指出,生成式 AI 没有放之四海而皆准的方案,其成本也比其他技术更难预测。
MIT 还指出了一个演示无法展示的根源,称之为“学习缺口”:通用 AI 工具不会从企业的工作流中学习,也不会适应它。MIT 认为,问题出在这里,而不在模型质量。
学习缺口不应算作第六道缺口。更合理的理解是,它是集成这一行里的一个问题:系统与工作流的连接是否足够紧密,能从用户纠正错误的方式中学习?
示例:给财务团队做一个发票识别机器人
假设你在为一家物流公司做 POC:一条读取 PDF 发票、提取税号、金额和日期的数据管道,让财务团队不必再手工录入。客户发来几十张样例发票,张张干净、格式规范。演示几乎全对。
现在逐一检查五道缺口。数据方面,真实数据源其实是一个邮箱,里面有扫歪的扫描件、手机拍的照片,还有外国供应商的发票。集成方面,结果要写入 ERP,要经过财务主管的审批环节,机器人识别错了还要有办法纠正。
风险方面,如果错误的税号进了账,谁来负责,日志在哪里?成本方面,在真实业务量下每张发票消耗多少 token,而不是几十个演示文件的消耗?价值方面,客户衡量的是什么:会计处理每张发票花的分钟数,还是审计时发现的错误数?
还有学习缺口的问题:会计纠正了一个识别错误的字段,这次纠正会不会反馈回系统、让它变得更好,还是直接消失?如果消失了,用户就会一遍遍修同一个错误,到某个时候就会弃用这个工具。
第一件事是在真实数据上重新评测。下面的代码非常简单,却常常彻底改变与客户的对话:
import random
def accuracy(pipeline, samples):
ok = sum(pipeline(s["file"]) == s["expected"] for s in samples)
return ok / len(samples)
curated = load_labeled("demo_set/") # 客户精选的数据集
live = random.sample(load_inbox_last_30_days(), 20)
live = label_by_accountant(live) # 请会计人员标注
print("演示集:", accuracy(extract_invoice, curated))
print("真实数据:", accuracy(extract_invoice, live))
如果两个数字相差很大,你就有了重新商定项目范围的具体依据,而不必等到上线后再解释延期。
承诺上线日期前的检查清单
从上面的例子可以整理出一个适用于大多数项目的模板。演示一结束,就和客户一起填写:
| 缺口 | POC 已有的 | 生产环境需要的 | 客户方负责人 |
|---|---|---|---|
| 数据 | 精选样本 | 在真实数据源的随机抽样上测得的结果 | 源系统负责人 |
| 集成 | 一个输出文件或演示界面 | 写入真实系统,有审批环节,用户纠正能回流到系统 | IT、流程负责人 |
| 风险 | 无 | 审批人、日志、回滚方案 | 合规、部门负责人 |
| 成本 | 几十次调用 | 按真实业务量的估算,并设告警阈值 | 预算负责人 |
| 价值 | “看起来很棒” | 一个在上线前后都测量的指标 | 项目发起人 |
每个空格都是一项风险,必须单独列为一项工作并单独估算。集成这一行尤其要和 AI 工作分开估算。如果混在一起,已完成的演示会把它拉低到一个远远偏低的数字。
让项目困在试点阶段的几个错误
第一个错误,是把演示准确率当成承诺。这个数字只对客户挑选的数据集成立,而客户通常会挑最好的文件。
第二个错误,是把项目当成纯机器学习项目来规划。而据 Sculley 团队的研究,系统的大部分是胶水代码,维护成本通常又大又持久。
第三个错误,是一切从零自建。MIT 的报告发现,向专业供应商采购并开展合作的成功率约为 67%,远高于内部自建。
对 FDE 来说,这意味着要善用已经可用的东西,把精力放在让系统融入客户的工作流上。
最后一个错误,是直到合同续约时业务价值仍然模糊。没人能量化项目省下了什么,客户方的发起人最容易做的决定就是砍掉它。
求职时如何展示这项能力
如果你正从后端或数据岗位转向 FDE 岗位,集成经验是实实在在的优势。据 HatchWorks 称,对接现有系统常常占项目实际工作的大部分。阅读职位描述时,留意“deployment”“integration with customer systems”或“own the path to production”这类表述。
这些表述说明,这家公司已经明白 POC 只是第一步。
简历上不要只写“搭建了一个 RAG 聊天机器人”。要写清楚你把哪个系统从试点带到了生产环境,对接了客户的哪些系统,用什么指标衡量了它的效果。
面试时,如果你能讲清楚自己如何发现演示集与真实数据之间的差距,展示的正是 FDE 雇主在找的能力。
下次有人问“我们什么时候能真正用上?”,请用五道缺口清单来回答,而不是凭感觉估一个数。
这篇文章对你有帮助吗?
感谢你的反馈!
4 个信源
- Gartner predicts 30% of generative AI projects will be abandoned after proof of concept by end of 2025 · 2024-08-05
- MIT report: 95% of generative AI pilots at companies are failing · 2025-08-18
- Hidden Technical Debt in Machine Learning Systems (NeurIPS 2015, text copy) · 2015
- Why AI pilots stall (HatchWorks, FDE blog; vendor source) · 2026-09-16