FDE Times 数据在招 FDE 职位 873▼9 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 181支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

AI 项目里,演示是最容易的一步

Gartner 预计至少 30% 的生成式 AI 项目止步于概念验证,补上这道缺口正是 FDE 的工作。

分享微博

要点速览

  • Gartner 预测,到 2025 年底,至少 30% 的生成式 AI 项目会在 POC 之后被放弃,原因包括数据质量差、风险控制不足、成本上升或价值不明确。
  • 演示只能证明模型能完成任务。生产环境还需要胶水代码、系统集成和维护;Google 研究人员发现,这些占了系统的绝大部分。
  • FDE 应在真实数据上评测,把集成工作单独估算,并在演示前与客户商定一个业务指标。
一条代表 100% 的横条表示一个成熟的机器学习系统。横条开头很短的一段橙色是机器学习代码,最多占 5%,也就是演示所展示的部分;其余蓝色部分是周边基础设施,至少占 95%。
据 Sculley 等人估算,成熟机器学习系统中机器学习代码最多占 5%,周边基础设施至少占 95%。因此,根据演示估算工期,只估到了项目的一小部分。来源:Sculley 等,“Hidden Technical Debt in Machine Learning Systems”,NeurIPS 2015。

演示刚结束,客户很满意。这时运营负责人问了一个听上去很简单的问题:“我的团队什么时候能真正用上?”如果因为演示很顺利就回答“几周吧”,你很可能刚刚许下了一个自己从未估算过的承诺。

大量 AI 项目恰恰卡在这个问题上。Gartner 预测,到 2025 年底,至少 30% 的生成式 AI 项目会在概念验证(POC)阶段之后被放弃。

MIT NANDA 的报告 The GenAI Divide 说得更重,认为企业 AI 解决方案的失败率高达 95%。不过,这个数字来自小样本的初步研究,不应视为全行业的比例。

对前线部署工程师(FDE)来说,这件事直接相关。你的职责是让系统在客户现场的生产环境中跑起来。你最有价值的能力,是在第一天就看清 POC 与生产环境之间的差距,而不是到第六个月才发现。

演示和生产环境回答的是不同的问题

演示回答的问题是:“模型能不能完成这项任务?”生产环境要回答的问题更难:“这个系统能不能在客户的组织里活下来?”回答这两个问题所需的工作量相差极大。

Google 的 Sculley 等人在 NeurIPS 2015 上发表的论文《Hidden Technical Debt in Machine Learning Systems》,十多年前就指出了这一点:在很多机器学习系统中,真正负责学习或预测的代码只占很小一部分。

作者估计,一个成熟系统中机器学习代码最多占 5%,胶水代码至少占 95%。他们还发现,真实世界中的机器学习系统往往背负着巨大且长期持续的维护成本。

演示几乎完全由这 5% 构成。所以,根据演示估算工期,估的只是项目的一小部分。

演示掩盖的五道缺口

Gartner 列出了生成式 AI 项目在 POC 后停下的四个主要原因:数据质量差、风险控制不足、成本不断攀升,以及业务价值不明确。HatchWorks 是一家服务公司,自己运营着一个关于前线部署工程的博客,它补充了第五道缺口:集成。

数据缺口通常发现得很晚。HatchWorks 说得很简洁:试点跑在精选的数据片段上,而生产环境必须跑在真实数据源上,这些数据既杂乱又在不断变化。集成缺口则往往被低估。

据 HatchWorks 称,对接现有系统常常占了实际工作的大部分,但按演示定预算时,这部分经常被漏掉。

成本是最难预测的一道缺口。Gartner 的 Rita Sallam 指出,生成式 AI 没有放之四海而皆准的方案,其成本也比其他技术更难预测。

MIT 还指出了一个演示无法展示的根源,称之为“学习缺口”:通用 AI 工具不会从企业的工作流中学习,也不会适应它。MIT 认为,问题出在这里,而不在模型质量。

学习缺口不应算作第六道缺口。更合理的理解是,它是集成这一行里的一个问题:系统与工作流的连接是否足够紧密,能从用户纠正错误的方式中学习?

示例:给财务团队做一个发票识别机器人

假设你在为一家物流公司做 POC:一条读取 PDF 发票、提取税号、金额和日期的数据管道,让财务团队不必再手工录入。客户发来几十张样例发票,张张干净、格式规范。演示几乎全对。

现在逐一检查五道缺口。数据方面,真实数据源其实是一个邮箱,里面有扫歪的扫描件、手机拍的照片,还有外国供应商的发票。集成方面,结果要写入 ERP,要经过财务主管的审批环节,机器人识别错了还要有办法纠正。

风险方面,如果错误的税号进了账,谁来负责,日志在哪里?成本方面,在真实业务量下每张发票消耗多少 token,而不是几十个演示文件的消耗?价值方面,客户衡量的是什么:会计处理每张发票花的分钟数,还是审计时发现的错误数?

还有学习缺口的问题:会计纠正了一个识别错误的字段,这次纠正会不会反馈回系统、让它变得更好,还是直接消失?如果消失了,用户就会一遍遍修同一个错误,到某个时候就会弃用这个工具。

第一件事是在真实数据上重新评测。下面的代码非常简单,却常常彻底改变与客户的对话:

import random

def accuracy(pipeline, samples):
    ok = sum(pipeline(s["file"]) == s["expected"] for s in samples)
    return ok / len(samples)

curated = load_labeled("demo_set/")            # 客户精选的数据集
live = random.sample(load_inbox_last_30_days(), 20)
live = label_by_accountant(live)               # 请会计人员标注

print("演示集:", accuracy(extract_invoice, curated))
print("真实数据:", accuracy(extract_invoice, live))

如果两个数字相差很大,你就有了重新商定项目范围的具体依据,而不必等到上线后再解释延期。

承诺上线日期前的检查清单

从上面的例子可以整理出一个适用于大多数项目的模板。演示一结束,就和客户一起填写:

缺口 POC 已有的 生产环境需要的 客户方负责人
数据 精选样本 在真实数据源的随机抽样上测得的结果 源系统负责人
集成 一个输出文件或演示界面 写入真实系统,有审批环节,用户纠正能回流到系统 IT、流程负责人
风险 无 审批人、日志、回滚方案 合规、部门负责人
成本 几十次调用 按真实业务量的估算,并设告警阈值 预算负责人
价值 “看起来很棒” 一个在上线前后都测量的指标 项目发起人

每个空格都是一项风险,必须单独列为一项工作并单独估算。集成这一行尤其要和 AI 工作分开估算。如果混在一起,已完成的演示会把它拉低到一个远远偏低的数字。

让项目困在试点阶段的几个错误

第一个错误,是把演示准确率当成承诺。这个数字只对客户挑选的数据集成立,而客户通常会挑最好的文件。

第二个错误,是把项目当成纯机器学习项目来规划。而据 Sculley 团队的研究,系统的大部分是胶水代码,维护成本通常又大又持久。

第三个错误,是一切从零自建。MIT 的报告发现,向专业供应商采购并开展合作的成功率约为 67%,远高于内部自建。

对 FDE 来说,这意味着要善用已经可用的东西,把精力放在让系统融入客户的工作流上。

最后一个错误,是直到合同续约时业务价值仍然模糊。没人能量化项目省下了什么,客户方的发起人最容易做的决定就是砍掉它。

求职时如何展示这项能力

如果你正从后端或数据岗位转向 FDE 岗位,集成经验是实实在在的优势。据 HatchWorks 称,对接现有系统常常占项目实际工作的大部分。阅读职位描述时,留意“deployment”“integration with customer systems”或“own the path to production”这类表述。

这些表述说明,这家公司已经明白 POC 只是第一步。

简历上不要只写“搭建了一个 RAG 聊天机器人”。要写清楚你把哪个系统从试点带到了生产环境,对接了客户的哪些系统,用什么指标衡量了它的效果。

面试时,如果你能讲清楚自己如何发现演示集与真实数据之间的差距,展示的正是 FDE 雇主在找的能力。

下次有人问“我们什么时候能真正用上?”,请用五道缺口清单来回答,而不是凭感觉估一个数。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 5: 部署上线银行问能否跑在其 VPC 里,直接答“能”风险最大关键在于控制平面、计算和数据各在哪里,厂商还掌握什么;BYOC 只是客户视角下的同一模式。