# 笔记本里跑通的模型，还不是客户能用的产品

> 从版本管理到受控重训练，五件事让 FDE 接得住第一通投诉电话，Palantir 已写进招聘要求。

原文: https://fdetimes.net/zh/guides/mlops-for-fdes-five-things-before-production/

设想你刚把一个需求预测模型接入某连锁超市的订货系统。在笔记本里，误差看起来非常好，给高管的演示也很顺利。三周后，仓库经理打来电话：鲜奶订货量翻了一倍，而在场没有一个人知道线上跑的是哪个版本的模型。

这种情况很少是模型本身不好造成的。Google Cloud 的 MLOps 架构文档说得很直白：难点在于搭建一个集成的机器学习系统，并让它在生产环境中持续运行。至少有一家招聘前线部署工程师（FDE）的公司，把这项工作直接写进了岗位描述。

Palantir 的 Forward Deployed Infrastructure Engineer 招聘启事列出了部署现场要做的工作：监控与告警、配置管理、系统升级。

入职者还要共同负责诊断、解决和预防生产事故，包括值班。如果你瞄准的是这类岗位，这些技能会在日常工作中受到检验，而不是用来装点简历的几行字。

## 为什么模型不等于产品？

2015 年，D. Sculley 团队在 NIPS 上发表了《Hidden Technical Debt in Machine Learning Systems》。他们观察到，现实中的机器学习系统往往背负着庞大而长期的维护成本，来源包括数据依赖和外部世界的变化。

超市更换了商品编码，POS 终端升级了软件，顾客在农历新年（Tết）之后改变了购物习惯。模型没变，但它收到的数据已经不一样了。

因此，机器学习比普通软件多出一项要求。Google Cloud 称之为持续训练（CT）：自动重新训练，再把新模型投入服务。

他们还指出，机器学习中的持续交付（CD）不再是部署一个软件包或一个服务，而是部署一整个系统；持续集成（CI）除了测试各个组件，还必须测试数据。

Martin Zinkevich 在《Rules of Machine Learning》中给出一条简短的建议：第一个模型要简单，把基础设施做对。对 FDE 来说，优先级因此相当清楚：在客户现场的头几天，应该花在搭建数据管道上，而不是调参。

**要点:** 模型再好，如果没人知道它何时开始出错，也毫无用处。

## 以连锁超市为例：五件事，按顺序做

**第一，准确知道线上跑的是什么。**回到那通关于鲜奶的电话：第一个问题永远是“哪个模型？”。Martin Fowler 网站上的 CD4ML 一文建议把模型当作制品，像其他构建产物一样做版本管理和部署。每一行预测日志至少要记录足够的信息，以便回溯：

```python
log_prediction({
    "model_version": "demand-v14",
    "feature_snapshot": "2026-10-01",
    "store_id": "HCM-021",
    "sku": "SUA-TUOI-1L",
    "prediction": 240,
})
```

有了这行日志，几分钟就能给出答案，而不是几天。仓库还在等订单时，你也可以回滚到上一个版本。

**第二，只用一个特征来源。**假设“7 日平均销量”这个特征在训练时取自数据仓库，已扣除退货；而在生产环境中，同一特征来自实时 POS 数据流，尚未扣除退货。如果某商品在数据仓库里每天净销 100 件，而 POS 报的是 115 件，模型看到的世界就比它学习时繁忙了 15%。这就是训练-服务偏差（training-serving skew）。

Google Cloud 建议用特征存储（feature store）作为实验和服务共用的数据源，以避免偏差。但即使没有特征存储，也仍然要测量偏差，正如 Zinkevich 第 37 条规则所说。

最简单的做法是：在服务时记录特征值，再针对同一天、同一门店离线重新计算，对比两个数字。

**第三，把基础设施和机器学习分开测试。**Zinkevich 写道，基础设施应当独立于机器学习进行测试。对这家连锁超市，可以先用一个“笨”基线替换模型：本周预测值就等于上周的销量。然后让基线跑完整个管道，从读取数据、生成预测，到把订单写入订货系统。

如果基线也把订单弄乱了，问题就出在管道上，而且你在错怪模型之前就能知道。只有基线跑通无误，才把真正的模型换上去。

**第四，基于真实数据监控。**Google Cloud 把监控定义为基于线上数据收集模型性能统计。对预测问题而言，每天实际销量到来时，与前一天的预测对比，按商品类别计算误差。同时也要检查输入，比如收到的行数和空值占比，因为数据出问题通常先在这里显现。

没有告警的监控，只是一块没人打开的仪表盘。告警阈值应当与仓库经理商定，用他们的语言表述，例如“偏差超过百分之多少就必须通知人”。你自己在代码里设的阈值，他们看不懂，也不会有人盯。

**最后，回到训练的通路。**CD4ML 强调，部署之后必须了解模型在生产环境中的表现，并把真实数据送回训练循环。在超市场景中，每天的实际销量就是下一轮训练的标签。重新训练后需要一个审核环节：只有新模型在最近几周的数据上表现更好，才能替换旧模型。

## 凌晨 2 点，你需要备好哪些答案？

检验是否准备就绪的一个办法是：设想自己正在接值班电话，问问每个问题需要什么才能回答。

| 客户的问题 | 必须事先具备的东西 |
|---|---|
| 线上跑的是哪个模型？ | 每行日志都记录模型版本 |
| 是数据的问题还是模型的问题？ | 偏差测量结果和基线运行结果 |
| 模型从什么时候开始变差？ | 基于真实数据的性能统计，并配有告警 |
| 修好之后怎么上线？ | 带审核环节和回滚的重训练管道 |

右栏只要还有一格是空的，那就是在模型获准写下第一张订单之前要完成的工作。

## FDE 常犯的错误

一是以为共用特征计算代码就能杜绝偏差，而输入的数据源可能早已不同。二是只跟踪延迟和 CPU，就以为是在监控模型。

最难察觉的错误，是交付了系统却没有交接告警。离开现场时，客户那边必须有人知道告警发往哪里、收到后该做什么。

## 如何在简历上体现这项能力

阅读 FDE 岗位描述时，留意 monitoring、alerting、upgrades、on-call、production issues 这类词。它们说明公司需要的是能运维系统的人，而不只是会训练模型的人。

简历上不要只写“部署了一个预测模型”，要更具体，例如“搭建了带版本管理的管道，测量了训练与服务之间的偏差，按与业务方商定的阈值设置告警”。

面试前，准备一个真实的故事：上一次你的模型在真实数据上出错，你是怎么发现的，花了多久定位问题。这样的故事比任何准确率数字都更清楚地展示了这些招聘启事所描述的工作。

**本周动手试试:**

- 拿一个你部署过的模型，在每行预测日志中记录 model_version 和特征快照。
- 用“预测值等于上周销量”的基线替换该模型，端到端跑完整个管道。
- 挑 3 个特征，针对同一天离线重新计算，与服务时的值对比，得出你的第一个偏差数字。

## 信源

- [MLOps: Continuous delivery and automation pipelines in machine learning](https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning)

- [Rules of Machine Learning (Martin Zinkevich)](https://developers.google.com/machine-learning/guides/rules-of-ml)

- [Hidden Technical Debt in Machine Learning Systems](https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf)

- [Continuous Delivery for Machine Learning (CD4ML)](https://martinfowler.com/articles/cd4ml.html)

- [Forward Deployed Infrastructure Engineer, New Grad - US Government (Palantir)](https://jobs.lever.co/palantir/701a9307-0619-45d3-b077-cabe9897cd12)
