# AI 项目里，演示是最容易的一步

> Gartner 预计至少 30% 的生成式 AI 项目止步于概念验证，补上这道缺口正是 FDE 的工作。

原文: https://fdetimes.net/zh/guides/ai-poc-to-production-gap/

演示刚结束，客户很满意。这时运营负责人问了一个听上去很简单的问题：“我的团队什么时候能真正用上？”如果因为演示很顺利就回答“几周吧”，你很可能刚刚许下了一个自己从未估算过的承诺。

大量 AI 项目恰恰卡在这个问题上。Gartner 预测，到 2025 年底，至少 30% 的生成式 AI 项目会在概念验证（POC）阶段之后被放弃。

MIT NANDA 的报告 The GenAI Divide 说得更重，认为企业 AI 解决方案的失败率高达 95%。不过，这个数字来自小样本的初步研究，不应视为全行业的比例。

对前线部署工程师（FDE）来说，这件事直接相关。你的职责是让系统在客户现场的生产环境中跑起来。你最有价值的能力，是在第一天就看清 POC 与生产环境之间的差距，而不是到第六个月才发现。

## 演示和生产环境回答的是不同的问题

演示回答的问题是：“模型能不能完成这项任务？”生产环境要回答的问题更难：“这个系统能不能在客户的组织里活下来？”回答这两个问题所需的工作量相差极大。

Google 的 Sculley 等人在 NeurIPS 2015 上发表的论文《Hidden Technical Debt in Machine Learning Systems》，十多年前就指出了这一点：在很多机器学习系统中，真正负责学习或预测的代码只占很小一部分。

作者估计，一个成熟系统中机器学习代码最多占 5%，胶水代码至少占 95%。他们还发现，真实世界中的机器学习系统往往背负着巨大且长期持续的维护成本。

演示几乎完全由这 5% 构成。所以，根据演示估算工期，估的只是项目的一小部分。

## 演示掩盖的五道缺口

Gartner 列出了生成式 AI 项目在 POC 后停下的四个主要原因：数据质量差、风险控制不足、成本不断攀升，以及业务价值不明确。HatchWorks 是一家服务公司，自己运营着一个关于前线部署工程的博客，它补充了第五道缺口：集成。

数据缺口通常发现得很晚。HatchWorks 说得很简洁：试点跑在精选的数据片段上，而生产环境必须跑在真实数据源上，这些数据既杂乱又在不断变化。集成缺口则往往被低估。

据 HatchWorks 称，对接现有系统常常占了实际工作的大部分，但按演示定预算时，这部分经常被漏掉。

成本是最难预测的一道缺口。Gartner 的 Rita Sallam 指出，生成式 AI 没有放之四海而皆准的方案，其成本也比其他技术更难预测。

MIT 还指出了一个演示无法展示的根源，称之为“学习缺口”：通用 AI 工具不会从企业的工作流中学习，也不会适应它。MIT 认为，问题出在这里，而不在模型质量。

学习缺口不应算作第六道缺口。更合理的理解是，它是集成这一行里的一个问题：系统与工作流的连接是否足够紧密，能从用户纠正错误的方式中学习？

## 示例：给财务团队做一个发票识别机器人

假设你在为一家物流公司做 POC：一条读取 PDF 发票、提取税号、金额和日期的数据管道，让财务团队不必再手工录入。客户发来几十张样例发票，张张干净、格式规范。演示几乎全对。

现在逐一检查五道缺口。数据方面，真实数据源其实是一个邮箱，里面有扫歪的扫描件、手机拍的照片，还有外国供应商的发票。集成方面，结果要写入 ERP，要经过财务主管的审批环节，机器人识别错了还要有办法纠正。

风险方面，如果错误的税号进了账，谁来负责，日志在哪里？成本方面，在真实业务量下每张发票消耗多少 token，而不是几十个演示文件的消耗？价值方面，客户衡量的是什么：会计处理每张发票花的分钟数，还是审计时发现的错误数？

还有学习缺口的问题：会计纠正了一个识别错误的字段，这次纠正会不会反馈回系统、让它变得更好，还是直接消失？如果消失了，用户就会一遍遍修同一个错误，到某个时候就会弃用这个工具。

第一件事是在真实数据上重新评测。下面的代码非常简单，却常常彻底改变与客户的对话：

```python
import random

def accuracy(pipeline, samples):
    ok = sum(pipeline(s["file"]) == s["expected"] for s in samples)
    return ok / len(samples)

curated = load_labeled("demo_set/")            # 客户精选的数据集
live = random.sample(load_inbox_last_30_days(), 20)
live = label_by_accountant(live)               # 请会计人员标注

print("演示集:", accuracy(extract_invoice, curated))
print("真实数据:", accuracy(extract_invoice, live))
```

如果两个数字相差很大，你就有了重新商定项目范围的具体依据，而不必等到上线后再解释延期。

## 承诺上线日期前的检查清单

从上面的例子可以整理出一个适用于大多数项目的模板。演示一结束，就和客户一起填写：

| 缺口 | POC 已有的 | 生产环境需要的 | 客户方负责人 |
|---|---|---|---|
| 数据 | 精选样本 | 在真实数据源的随机抽样上测得的结果 | 源系统负责人 |
| 集成 | 一个输出文件或演示界面 | 写入真实系统，有审批环节，用户纠正能回流到系统 | IT、流程负责人 |
| 风险 | 无 | 审批人、日志、回滚方案 | 合规、部门负责人 |
| 成本 | 几十次调用 | 按真实业务量的估算，并设告警阈值 | 预算负责人 |
| 价值 | “看起来很棒” | 一个在上线前后都测量的指标 | 项目发起人 |

每个空格都是一项风险，必须单独列为一项工作并单独估算。集成这一行尤其要和 AI 工作分开估算。如果混在一起，已完成的演示会把它拉低到一个远远偏低的数字。

**要点:** 演示证明模型能完成任务，清单则显示项目还剩多少工作。

## 让项目困在试点阶段的几个错误

第一个错误，是把演示准确率当成承诺。这个数字只对客户挑选的数据集成立，而客户通常会挑最好的文件。

第二个错误，是把项目当成纯机器学习项目来规划。而据 Sculley 团队的研究，系统的大部分是胶水代码，维护成本通常又大又持久。

第三个错误，是一切从零自建。MIT 的报告发现，向专业供应商采购并开展合作的成功率约为 67%，远高于内部自建。

对 FDE 来说，这意味着要善用已经可用的东西，把精力放在让系统融入客户的工作流上。

最后一个错误，是直到合同续约时业务价值仍然模糊。没人能量化项目省下了什么，客户方的发起人最容易做的决定就是砍掉它。

## 求职时如何展示这项能力

如果你正从后端或数据岗位转向 FDE 岗位，集成经验是实实在在的优势。据 HatchWorks 称，对接现有系统常常占项目实际工作的大部分。阅读职位描述时，留意“deployment”“integration with customer systems”或“own the path to production”这类表述。

这些表述说明，这家公司已经明白 POC 只是第一步。

简历上不要只写“搭建了一个 RAG 聊天机器人”。要写清楚你把哪个系统从试点带到了生产环境，对接了客户的哪些系统，用什么指标衡量了它的效果。

面试时，如果你能讲清楚自己如何发现演示集与真实数据之间的差距，展示的正是 FDE 雇主在找的能力。

下次有人问“我们什么时候能真正用上？”，请用五道缺口清单来回答，而不是凭感觉估一个数。

**本周动手试试:**

- 找一个你做过的 POC，填写本文的五道缺口清单，标出仍然空着的格子
- 向客户或内部团队要 20 条从真实数据源随机抽取的记录，重新运行数据管道，并与演示集的结果对比
- 把简历中的一行改写成“将 X 从试点带到生产环境，对接 Y，以 Z 衡量效果”的形式

## 信源

- [Gartner predicts 30% of generative AI projects will be abandoned after proof of concept by end of 2025](https://www.intelligentcio.com/eu/2024/08/05/gartner-predicts-30-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025/)

- [MIT report: 95% of generative AI pilots at companies are failing](https://fortune.com/2025/08/18/mit-report-95-percent-generative-ai-pilots-at-companies-failing-cfo/)

- [Hidden Technical Debt in Machine Learning Systems (NeurIPS 2015, text copy)](https://object.cloud.sdsc.edu/v1/AUTH_da4962d3368042ac8337e2dfdd3e7bf3/ml-papers-txt/NeurIPS/2015/hidden_technical_debt_in_machine_learning_systems__893cc25d.txt)

- [Why AI pilots stall (HatchWorks, FDE blog; vendor source)](https://hatchworks.com/blog/fde/why-ai-pilots-stall/)
