# 客户说预测错了，先别急着怀疑模型

> 模型和代码都没变时，沿数据集、作业和运行逐步回溯，就能找到上游变了什么。

原文: https://fdetimes.net/zh/guides/data-lineage-debug-wrong-predictions/

周一，客户在共享频道里贴了一张截图，只配了一句话：“12 号门店本周的预测低于实际销量，仓库那边订货订少了。”模型没改过，也没人重新部署过代码，数字却错了。你是这个项目的前线部署工程师（FDE），整个会议室都在等你说出问题在哪。

多数人第一反应是怀疑模型：重新训练、调超参数、再比一遍指标。但像这次这样，模型和代码都没有变化时，更合理的做法是怀疑模型上游发生了变化。数据血缘就是帮你系统地找出这种变化的技能。

## 血缘是一张往回走的地图

IBM 把数据血缘定义为追踪数据随时间流动的过程：数据源自哪里，如何变化，流向何处。它的主要用途之一是把错误追溯到根因，这种粒度的信息在排查数据问题时非常有用。

12 号门店的投诉，正是血缘要解决的那类问题。

要往回追，先得有一个简单的心智模型。OpenLineage 是一个用于采集血缘的开放框架和规范，它用三个通用实体描述所有管道：数据集（dataset）、作业（job）和运行（run）。数据集是一张表或一个文件。作业是一段处理逻辑，读取一个数据集，写出另一个数据集。

运行是作业的某一次具体执行。它发生在特定时间，输入数据可能和上一次运行不同。

即使客户的管道没有任何血缘工具，也要用这三个实体来思考。每往回走一步，都要回答三个问题：数字存在哪个数据集里，由哪个作业写入，由哪次运行产生。

## 追溯 12 号门店的数字

下面是一个假设的例子，细节足够让你跟着走一遍。客户的系统分四步。销售终端（POS）数据写入 `sales_daily` 表。一个作业计算特征 `avg_sales_7d`，即 7 天平均销量。预测服务在推理时读取这个特征，看板展示 `forecast_qty` 列。

第一步，精确定位那个错误数字，因为“预测偏低”太笼统。你需要知道是哪一行，也就是 12 号门店、哪个 SKU、哪一周，以及是预测服务的哪一次运行产生的。拿不到 run id，之后做的每次比较都只是猜测。

然后一步步往回走。每一步都把实际值和预期值做比较：

| 环节（往回走） | 要问的问题 | 示例中的结果 |
|---|---|---|
| 看板 `forecast_qty` | 与服务输出一致吗？ | 一致，看板没问题 |
| 预测服务，周一的运行 | 输入特征是多少？ | `avg_sales_7d` = 90 |
| 特征作业 | 从 `sales_daily` 手工重算，结果是多少？ | 仍是 90，公式没错 |
| `sales_daily` 表的 `qty` 列 | 这一列是什么含义，从什么时候开始？ | 从上周起，`qty` 扣除了退货 |

原因就清楚了。假设门店每天卖出 100 件，退货 10 件。训练模型时，`qty` 是总销量，特征在 100 上下。后来 POS 团队把 `qty` 改成了净销量，于是推理时特征只有 90。

模型仍然忠实于它学到的东西，只是输入的含义变了。

**要点:** 模型没有坏。是上游某一列的含义变了，而模型仍按旧含义理解它。

## 这类 bug 为什么难发现

Snowflake 把训练-服务偏差（training-serving skew）列为难以诊断的管道 bug，这个例子说明了原因。没有作业失败，也没有空表，每一步都严格按代码执行。唯一变化的是一个定义。

表级血缘只能告诉你 `sales_daily` 位于模型上游，这还不够。你需要列级血缘：它沿整条管道追踪依赖关系，把上游的变化和受影响的下游特征及训练数据关联起来。

只有到了列级，才能看到从 `qty` 到 `avg_sales_7d` 再到 `forecast_qty` 的路径。

长期的解决办法是让训练和服务共用一份标准的特征定义。当多个模型共享特征，或推理对延迟要求很高时，特征存储（feature store）的作用最大。

如果客户只跑一个每周批处理模型，一个共享的特征定义模块可能就够了。

## 修改数据源，还会影响谁？

新手 FDE 常在这里栽跟头。找到原因后，你想让 POS 团队把 `qty` 改回原来的含义。但财务团队的报表可能正依赖这个净销量。

血缘还有第二个用途：显示某个具体改动会影响什么，也就是影响分析（impact analysis）。提出修复方案前，先从 `qty` 列往下游走，列出读取它的所有模型、看板和表。通常更稳妥的做法是新增一列，例如 `qty_gross`，再让特征指向它，而不是再改一次这一列的含义。

## 动手做：下次事故的五个步骤

1. **定位坐标。** 把投诉变成精确的位置：哪一行、哪个时间、哪一次运行。
2. **一步步往回走。** 每一步都记下数据集、作业和运行。
3. **与预期比较。** 在每一步重算预期值，与实际值比较。第一个对不上的环节就是要深挖的地方。
4. **对比两份特征定义。** 把训练时的定义和服务时的定义放在一起逐行比较，偏差通常就藏在两者的差异里。
5. **修复前先往前推。** 改动之前先做影响分析；修好之后，把血缘保留下来，留给下次用。

关于工具：Airflow 可以追踪任务之间的血缘，并把 hook 级别的血缘发送到中央收集器。不过，Airflow 官方文档写明，这项功能高度实验性，可能随时变化。

所以不要默认 Airflow 生成的血缘图是完整的。如果客户混用多种工具，可以考虑厂商中立的标准 OpenLineage。

## 常见陷阱

最常见的陷阱是不先回溯就重新训练。如果输入的含义变了，新模型只会学会新含义，把真正的原因掩盖掉。与之相关的习惯是止步于表级血缘：知道涉及哪些表，却不知道哪一列变了。

如果忘了记录 run id，你最终会拿今天的数据去比对一个用昨天数据产生的预测。如果不往前推就修改数据源，你解决了这次事故，却给隔壁团队制造了另一次。

如果你想转型做 FDE，像 12 号门店这样的事故也是简历上最好的素材之一。与其写“具备管道排查经验”，不如描述你如何从看板往回追了四步找到 `qty` 列，发现它从总销量变成了净销量，并在提出新增 `qty_gross` 列之前检查了下游影响。

下次客户再发来截图，先打开血缘地图，而不是打开 notebook 准备重新训练。客户需要知道错误数字从哪里来，而重新训练通常给不出这个答案。

**本周动手试试:**

- 挑一个看板上的数字，或团队对外提供的某个预测，手工画出它的列级血缘。每一步都写下作业名称，以及获取 run id 的方法。
- 针对某个模型的每个特征，比较训练端和服务端的定义。记下两端用不同代码计算同一特征的每一处地方。
- 阅读 OpenLineage 文档中关于 dataset/job/run 的部分，试着把你现有的一条 Airflow 管道映射到这三个概念上。

## 信源

- [What Is Data Lineage? | IBM](https://www.ibm.com/think/topics/data-lineage)

- [AI Data Pipelines: Why Data Consistency Matters as Much as the Model (Snowflake)](https://www.snowflake.com/guides/what-feature-store-machine-learning/)

- [Lineage — Airflow 3.3.2 Documentation](https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/lineage.html)

- [About OpenLineage | OpenLineage](https://openlineage.io/docs/)
