FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

客户说预测错了,先别急着怀疑模型

模型和代码都没变时,沿数据集、作业和运行逐步回溯,就能找到上游变了什么。

分享微博

要点速览

  • 客户报告数字有误时,不要先重新训练模型。从出错的那个数字出发,逐个数据集、作业和运行往回追。
  • 训练-服务偏差是较难诊断的一类 bug。只有列级血缘能把数据源的变化和发生漂移的特征联系起来。
  • 动手修复前,先确认改动会影响下游哪些对象。另外要注意,Airflow 的血缘功能目前仍处于实验阶段。
四个环节的预测管道示意图:sales_daily 表(qty 列)、avg_sales_7d 特征作业、预测服务(周一运行)和 forecast_qty 看板。从看板往回追:第 1 步,看板与输出一致;第 2 步,avg_sales_7d 输入为 90;第 3 步,重算仍为 90,公式正确;第 4 步以橙色高亮,显示 qty 的含义已变为扣除退货后的数字。下方两根对比条:训练时 qty 为总销量,约 100;服务时 qty 为净销量,降到 90。
从看板上的错误数字往回追,直到 qty 列之前每一步都符合预期。qty 列是第一个出现偏差的环节:它的含义从总销量变成了净销量,而模型仍按旧含义理解它(假设示例)。

周一,客户在共享频道里贴了一张截图,只配了一句话:“12 号门店本周的预测低于实际销量,仓库那边订货订少了。”模型没改过,也没人重新部署过代码,数字却错了。你是这个项目的前线部署工程师(FDE),整个会议室都在等你说出问题在哪。

多数人第一反应是怀疑模型:重新训练、调超参数、再比一遍指标。但像这次这样,模型和代码都没有变化时,更合理的做法是怀疑模型上游发生了变化。数据血缘就是帮你系统地找出这种变化的技能。

血缘是一张往回走的地图

IBM 把数据血缘定义为追踪数据随时间流动的过程:数据源自哪里,如何变化,流向何处。它的主要用途之一是把错误追溯到根因,这种粒度的信息在排查数据问题时非常有用。

12 号门店的投诉,正是血缘要解决的那类问题。

要往回追,先得有一个简单的心智模型。OpenLineage 是一个用于采集血缘的开放框架和规范,它用三个通用实体描述所有管道:数据集(dataset)、作业(job)和运行(run)。数据集是一张表或一个文件。作业是一段处理逻辑,读取一个数据集,写出另一个数据集。

运行是作业的某一次具体执行。它发生在特定时间,输入数据可能和上一次运行不同。

即使客户的管道没有任何血缘工具,也要用这三个实体来思考。每往回走一步,都要回答三个问题:数字存在哪个数据集里,由哪个作业写入,由哪次运行产生。

追溯 12 号门店的数字

下面是一个假设的例子,细节足够让你跟着走一遍。客户的系统分四步。销售终端(POS)数据写入 sales_daily 表。一个作业计算特征 avg_sales_7d,即 7 天平均销量。预测服务在推理时读取这个特征,看板展示 forecast_qty 列。

第一步,精确定位那个错误数字,因为“预测偏低”太笼统。你需要知道是哪一行,也就是 12 号门店、哪个 SKU、哪一周,以及是预测服务的哪一次运行产生的。拿不到 run id,之后做的每次比较都只是猜测。

然后一步步往回走。每一步都把实际值和预期值做比较:

环节(往回走) 要问的问题 示例中的结果
看板 forecast_qty 与服务输出一致吗? 一致,看板没问题
预测服务,周一的运行 输入特征是多少? avg_sales_7d = 90
特征作业 从 sales_daily 手工重算,结果是多少? 仍是 90,公式没错
sales_daily 表的 qty 列 这一列是什么含义,从什么时候开始? 从上周起,qty 扣除了退货

原因就清楚了。假设门店每天卖出 100 件,退货 10 件。训练模型时,qty 是总销量,特征在 100 上下。后来 POS 团队把 qty 改成了净销量,于是推理时特征只有 90。

模型仍然忠实于它学到的东西,只是输入的含义变了。

这类 bug 为什么难发现

Snowflake 把训练-服务偏差(training-serving skew)列为难以诊断的管道 bug,这个例子说明了原因。没有作业失败,也没有空表,每一步都严格按代码执行。唯一变化的是一个定义。

表级血缘只能告诉你 sales_daily 位于模型上游,这还不够。你需要列级血缘:它沿整条管道追踪依赖关系,把上游的变化和受影响的下游特征及训练数据关联起来。

只有到了列级,才能看到从 qty 到 avg_sales_7d 再到 forecast_qty 的路径。

长期的解决办法是让训练和服务共用一份标准的特征定义。当多个模型共享特征,或推理对延迟要求很高时,特征存储(feature store)的作用最大。

如果客户只跑一个每周批处理模型,一个共享的特征定义模块可能就够了。

修改数据源,还会影响谁?

新手 FDE 常在这里栽跟头。找到原因后,你想让 POS 团队把 qty 改回原来的含义。但财务团队的报表可能正依赖这个净销量。

血缘还有第二个用途:显示某个具体改动会影响什么,也就是影响分析(impact analysis)。提出修复方案前,先从 qty 列往下游走,列出读取它的所有模型、看板和表。通常更稳妥的做法是新增一列,例如 qty_gross,再让特征指向它,而不是再改一次这一列的含义。

往回追(排查)

  • 从错误数字出发,向数据源方向走
  • 找到第一个与预期不符的环节
  • 回答的是:错误由什么引起?

往前推(影响分析)

  • 从准备修改的对象出发,向下游走
  • 列出所有依赖它的对象
  • 回答的是:修复会弄坏什么?

动手做:下次事故的五个步骤

  1. 定位坐标。 把投诉变成精确的位置:哪一行、哪个时间、哪一次运行。
  2. 一步步往回走。 每一步都记下数据集、作业和运行。
  3. 与预期比较。 在每一步重算预期值,与实际值比较。第一个对不上的环节就是要深挖的地方。
  4. 对比两份特征定义。 把训练时的定义和服务时的定义放在一起逐行比较,偏差通常就藏在两者的差异里。
  5. 修复前先往前推。 改动之前先做影响分析;修好之后,把血缘保留下来,留给下次用。

关于工具:Airflow 可以追踪任务之间的血缘,并把 hook 级别的血缘发送到中央收集器。不过,Airflow 官方文档写明,这项功能高度实验性,可能随时变化。

所以不要默认 Airflow 生成的血缘图是完整的。如果客户混用多种工具,可以考虑厂商中立的标准 OpenLineage。

常见陷阱

最常见的陷阱是不先回溯就重新训练。如果输入的含义变了,新模型只会学会新含义,把真正的原因掩盖掉。与之相关的习惯是止步于表级血缘:知道涉及哪些表,却不知道哪一列变了。

如果忘了记录 run id,你最终会拿今天的数据去比对一个用昨天数据产生的预测。如果不往前推就修改数据源,你解决了这次事故,却给隔壁团队制造了另一次。

如果你想转型做 FDE,像 12 号门店这样的事故也是简历上最好的素材之一。与其写“具备管道排查经验”,不如描述你如何从看板往回追了四步找到 qty 列,发现它从总销量变成了净销量,并在提出新增 qty_gross 列之前检查了下游影响。

下次客户再发来截图,先打开血缘地图,而不是打开 notebook 准备重新训练。客户需要知道错误数字从哪里来,而重新训练通常给不出这个答案。

这篇文章对你有帮助吗?

4 个信源
路线图上的下一篇 · 阶段 6: 价值度量模型返回 HTTP 200,却在悄悄出错用 Evidently、Prometheus 和 Grafana 看清哪个特征从哪天开始漂移,赶在客户追问之前。