客户说预测错了,先别急着怀疑模型
模型和代码都没变时,沿数据集、作业和运行逐步回溯,就能找到上游变了什么。
要点速览
- 客户报告数字有误时,不要先重新训练模型。从出错的那个数字出发,逐个数据集、作业和运行往回追。
- 训练-服务偏差是较难诊断的一类 bug。只有列级血缘能把数据源的变化和发生漂移的特征联系起来。
- 动手修复前,先确认改动会影响下游哪些对象。另外要注意,Airflow 的血缘功能目前仍处于实验阶段。
周一,客户在共享频道里贴了一张截图,只配了一句话:“12 号门店本周的预测低于实际销量,仓库那边订货订少了。”模型没改过,也没人重新部署过代码,数字却错了。你是这个项目的前线部署工程师(FDE),整个会议室都在等你说出问题在哪。
多数人第一反应是怀疑模型:重新训练、调超参数、再比一遍指标。但像这次这样,模型和代码都没有变化时,更合理的做法是怀疑模型上游发生了变化。数据血缘就是帮你系统地找出这种变化的技能。
血缘是一张往回走的地图
IBM 把数据血缘定义为追踪数据随时间流动的过程:数据源自哪里,如何变化,流向何处。它的主要用途之一是把错误追溯到根因,这种粒度的信息在排查数据问题时非常有用。
12 号门店的投诉,正是血缘要解决的那类问题。
要往回追,先得有一个简单的心智模型。OpenLineage 是一个用于采集血缘的开放框架和规范,它用三个通用实体描述所有管道:数据集(dataset)、作业(job)和运行(run)。数据集是一张表或一个文件。作业是一段处理逻辑,读取一个数据集,写出另一个数据集。
运行是作业的某一次具体执行。它发生在特定时间,输入数据可能和上一次运行不同。
即使客户的管道没有任何血缘工具,也要用这三个实体来思考。每往回走一步,都要回答三个问题:数字存在哪个数据集里,由哪个作业写入,由哪次运行产生。
追溯 12 号门店的数字
下面是一个假设的例子,细节足够让你跟着走一遍。客户的系统分四步。销售终端(POS)数据写入 sales_daily 表。一个作业计算特征 avg_sales_7d,即 7 天平均销量。预测服务在推理时读取这个特征,看板展示 forecast_qty 列。
第一步,精确定位那个错误数字,因为“预测偏低”太笼统。你需要知道是哪一行,也就是 12 号门店、哪个 SKU、哪一周,以及是预测服务的哪一次运行产生的。拿不到 run id,之后做的每次比较都只是猜测。
然后一步步往回走。每一步都把实际值和预期值做比较:
| 环节(往回走) | 要问的问题 | 示例中的结果 |
|---|---|---|
看板 forecast_qty |
与服务输出一致吗? | 一致,看板没问题 |
| 预测服务,周一的运行 | 输入特征是多少? | avg_sales_7d = 90 |
| 特征作业 | 从 sales_daily 手工重算,结果是多少? |
仍是 90,公式没错 |
sales_daily 表的 qty 列 |
这一列是什么含义,从什么时候开始? | 从上周起,qty 扣除了退货 |
原因就清楚了。假设门店每天卖出 100 件,退货 10 件。训练模型时,qty 是总销量,特征在 100 上下。后来 POS 团队把 qty 改成了净销量,于是推理时特征只有 90。
模型仍然忠实于它学到的东西,只是输入的含义变了。
这类 bug 为什么难发现
Snowflake 把训练-服务偏差(training-serving skew)列为难以诊断的管道 bug,这个例子说明了原因。没有作业失败,也没有空表,每一步都严格按代码执行。唯一变化的是一个定义。
表级血缘只能告诉你 sales_daily 位于模型上游,这还不够。你需要列级血缘:它沿整条管道追踪依赖关系,把上游的变化和受影响的下游特征及训练数据关联起来。
只有到了列级,才能看到从 qty 到 avg_sales_7d 再到 forecast_qty 的路径。
长期的解决办法是让训练和服务共用一份标准的特征定义。当多个模型共享特征,或推理对延迟要求很高时,特征存储(feature store)的作用最大。
如果客户只跑一个每周批处理模型,一个共享的特征定义模块可能就够了。
修改数据源,还会影响谁?
新手 FDE 常在这里栽跟头。找到原因后,你想让 POS 团队把 qty 改回原来的含义。但财务团队的报表可能正依赖这个净销量。
血缘还有第二个用途:显示某个具体改动会影响什么,也就是影响分析(impact analysis)。提出修复方案前,先从 qty 列往下游走,列出读取它的所有模型、看板和表。通常更稳妥的做法是新增一列,例如 qty_gross,再让特征指向它,而不是再改一次这一列的含义。
往回追(排查)
- 从错误数字出发,向数据源方向走
- 找到第一个与预期不符的环节
- 回答的是:错误由什么引起?
往前推(影响分析)
- 从准备修改的对象出发,向下游走
- 列出所有依赖它的对象
- 回答的是:修复会弄坏什么?
动手做:下次事故的五个步骤
- 定位坐标。 把投诉变成精确的位置:哪一行、哪个时间、哪一次运行。
- 一步步往回走。 每一步都记下数据集、作业和运行。
- 与预期比较。 在每一步重算预期值,与实际值比较。第一个对不上的环节就是要深挖的地方。
- 对比两份特征定义。 把训练时的定义和服务时的定义放在一起逐行比较,偏差通常就藏在两者的差异里。
- 修复前先往前推。 改动之前先做影响分析;修好之后,把血缘保留下来,留给下次用。
关于工具:Airflow 可以追踪任务之间的血缘,并把 hook 级别的血缘发送到中央收集器。不过,Airflow 官方文档写明,这项功能高度实验性,可能随时变化。
所以不要默认 Airflow 生成的血缘图是完整的。如果客户混用多种工具,可以考虑厂商中立的标准 OpenLineage。
常见陷阱
最常见的陷阱是不先回溯就重新训练。如果输入的含义变了,新模型只会学会新含义,把真正的原因掩盖掉。与之相关的习惯是止步于表级血缘:知道涉及哪些表,却不知道哪一列变了。
如果忘了记录 run id,你最终会拿今天的数据去比对一个用昨天数据产生的预测。如果不往前推就修改数据源,你解决了这次事故,却给隔壁团队制造了另一次。
如果你想转型做 FDE,像 12 号门店这样的事故也是简历上最好的素材之一。与其写“具备管道排查经验”,不如描述你如何从看板往回追了四步找到 qty 列,发现它从总销量变成了净销量,并在提出新增 qty_gross 列之前检查了下游影响。
下次客户再发来截图,先打开血缘地图,而不是打开 notebook 准备重新训练。客户需要知道错误数字从哪里来,而重新训练通常给不出这个答案。
这篇文章对你有帮助吗?
感谢你的反馈!