FDE Times 数据在招 FDE 职位 881▼8 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 55在招公司 185支持远程 25%美国薪资中位数 $201k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

照抄上周,可能比客户的预测模型更准

先建朴素基线,再用模型没见过的数据回测,别让训练集上的误差决定排班。

分享微博

要点速览

  • 每个预测模型都应在相同的预测步长上,与朴素预测和季节性朴素预测比较。
  • 训练数据上的误差无法说明模型的预测能力,滚动起点回测才能回答这个问题。
  • 要把误差换算成运营决策,因为客户安排的是班次和卡车,买的不是 MAE。
点图按周比较季节性朴素预测与客户模型的 MAE,坐标轴从 0 开始。第 101 周:3.9 和 4.4。第 102 周:4.6 和 4.9。第 103 周:4.2 和 4.1,这是模型唯一胜出的一周。第 104 周:5.3 和 6.6。平均:4.5 和 5.0。一条虚线标出幻灯片上展示的 2.4。
模型曾号称误差只有 2.4 单;在四个 7 天窗口中,它平均差 5.0 单,输给季节性朴素预测的 4.5。来源:文中假设的数字。

设想你在一家物流公司的第一周。运营负责人打开一页幻灯片:预测仓库订单量的模型每天只差 2.4 单,她想从下个月起用它来排班。

你问这个数字是在什么数据上测出来的,答案是模型训练用的那批数据。它只说明模型记住过去的能力,还说明不了下周会怎样。

下个月,整个仓库都要按这个数字运转,所以在排班锁定之前,你得把它核实清楚。这里的误差意味着人手过多或卡车不够,而不是仪表盘上某个指标略有偏差;也不要默认客户团队已经核查过。

照抄过去,也是一种模型

第一次工作会议就该建好两个基线。朴素预测(naïve)让每个预测值都等于最后一个观测值。季节性朴素预测(seasonal naïve)让每个预测值等于同一季节位置上最近的观测值;如果周期是一周,就是上周同一天的值。

它们不是最终答案。教科书 Forecasting: Principles and Practice(FPP3)把简单方法当作基准,用来确保新方法确实更好,基线的价值正在于此:没有基线,“模型每天差 2.4 单”说明不了任何问题。

现在用假设的数字算一遍。第 100 周,仓库从周一到周日分别收到 100、95、98、102、130、180 和 170 单。第 101 周的实际数字是 104、99、96、106、128、186 和 165,而且第 100 周一结束,就要预测整个第 101 周。

朴素预测取周日的数字,所以七天都预测 170 单。绝对误差总和为 338,平均绝对误差(MAE)约为每天 48.3 单。季节性朴素预测直接照搬第 100 周,误差总和只有 27,MAE 约为 3.9。

误差要换算成人和卡车

客户不按 MAE 排班,所以要换算成他们的单位。假设一名工人每班能拣 20 单。用朴素预测,周一上午的预测多出 66 单,意味着要多叫三个以上的人;用季节性朴素预测,平均 3.9 单的误差还不到一个人。

卡车同理。假设每辆卡车装 30 单:朴素预测多出的 66 单意味着白订两辆多卡车,而季节性朴素预测误差最大的一天只差 6 单,相当于五分之一辆车。

要做这种换算,一开始就得问运营人员:这个预测服务于哪个决策,提前多久锁定,在什么粒度上?如果排班提前 7 天锁定,预测步长就是 7 天,所有测量都必须使用这个步长。

FPP3 也指出,需要多步预测时,一步预测误差可能并不相关,可以调整评估流程,测量第 h 步的误差。提前一天测出的误差,对提前一周排班的人没有帮助。

回测只有一条硬规则

Rob Hyndman 用预测起点随时间向前滚动的图景来描述这种评估。规则很简洁:训练集只包含测试所用观测值之前发生的观测值。然后对各个测试集的误差取平均。

取 104 周的历史数据和四个 7 天窗口。上面的计算就是第一个窗口:训练到第 100 周末,在第 101 周上评分。最后一个窗口训练到第 103 周,在第 104 周上评分,所以训练集每一轮都会变大,scikit-learn 的 TimeSeriesSplit 也是这样工作的。

代码只有 20 行左右。亲手写一遍,才能看清数据究竟在哪里切开;把预测函数做成参数,让每种方法都在同样的窗口上评分:

import numpy as np
import pandas as pd

def naive(train, h):
    return [train.iloc[-1]] * h

def seasonal_naive(train, h, season=7):
    # 假设 h <= season
    return train.iloc[-season:].values[:h]

def backtest(y, forecast_fn, h=7, n_windows=4):
    # y:按日的 pd.Series,已按时间排序,没有缺失的日期
    rows = []
    for w in range(n_windows, 0, -1):
        cutoff = len(y) - w * h
        train = y.iloc[:cutoff]              # 只用预测起点之前的数据
        test = y.iloc[cutoff:cutoff + h]
        forecast = np.asarray(forecast_fn(train, h))
        mae = abs(test.values - forecast).mean()
        rows.append({"start": y.index[cutoff], "mae": mae})
    return pd.DataFrame(rows)

每次调用 backtest 都返回一个独立的 DataFrame,按起始日期合并,就得到两列可以对比的结果:

comparison = backtest(y, naive).merge(
    backtest(y, seasonal_naive),
    on="start",
    suffixes=("_naive", "_seasonal"),
)

要测试客户的模型,就把它包装成一个接收 train 和 h 的函数,在每个窗口里用 train 重新训练,并返回 h 个预测值。然后用同样的方式合并结果。

客户的序列很多时,不要自己一直扩展这个循环。Nixtla 的 StatsForecast 文档把交叉验证描述为一个在历史数据上滑动、预测紧随其后时段的窗口,step_size 是窗口之间的间隔,也就是多久运行一次预测。把它设成与客户锁定排班的节奏一致。

Amazon Forecast 的测量方式相同:该服务的文档用回测来评估预测器(predictor)的准确度。下表的四个窗口经过删减,便于理解;有 104 周的历史数据,下结论之前完全可以多跑几个。

7 天窗口 季节性朴素预测 MAE 客户模型 MAE
1(第 101 周) 3.9 4.4
2(第 102 周) 4.6 4.9
3(第 103 周) 4.2 4.1
4(第 104 周) 5.3 6.6
平均 4.5 5.0

这些仍是假设的数字,但要像在客户面前那样解读。号称只差 2.4 单的模型,到了真正要预测的时候平均差 5.0 单,输给基线的 4.5,四个窗口只赢了一个。首先要看第 4 个窗口,因为那里差距最大。

这四周可能太平稳,所以先别下结论。在 104 周的历史数据里多跑几个覆盖高峰周的窗口,然后再提建议。

如果结果不变,你要对运营负责人说的话很简短:“模型还没有超过照抄上周。下周我们可以先用基线排班,等模型在同一个衡量标准上超过基线,再把它换上去。”你不是在毁掉谁的项目,而是给客户一个马上能用的方案和一个可衡量的目标。

如果结果相反,模型赢下大多数窗口,那就在讨论部署之前,先把差距换算成人和卡车。这样客户就知道,与最省钱的做法相比,他们能多得到什么。

MASE 低于 1 还不算赢

在这个例子中,平均绝对标度误差(MASE)用模型误差除以训练数据上一步朴素预测的平均误差。根据 FPP3,结果低于 1 表示优于平均的一步朴素预测,高于 1 表示更差。

Hyndman 和 Koehler 提出 MASE,作为跨多条序列比较准确度的标准指标。这个指标确实方便,但低于 1 的数字很容易让人高兴得太早。

以窗口 1 为例:训练到第 100 周末,在第 101 周上评分。为简化起见,假设整个训练数据中相邻两天的差值与第 100 周完全一致:六个差值加起来是 100,平均约 16.7。

模型差 4.4 单,MASE 约为 0.26,听起来非常亮眼。季节性朴素预测差 3.9 单,得分约 0.23,仍然胜过模型。

0.26 并不能证明模型好。这条序列有明显的周周期,周末的跳升放大了一步预测的分母,所以低于 1 相当容易。

因此,MASE 一定要和季节性朴素预测的数字一起报告,绝不能单独呈现。读自己工具输出的数字时,也要先确认它用的是哪个分母,再与本文比较。

让回测好看却无用的错误

第一个错误是出于习惯使用随机 K 折交叉验证。scikit-learn 文档解释了为什么这对按时间排序的数据是错的:模型会从未来学习,再在过去上评分。

即使数据切得正确,泄漏仍可能经由特征发生。在整条序列上计算的滚动平均或归一化,会把未来带进过去;很晚才定稿的促销日历也一样,如果真实预测时它还不存在的话。对每个特征都问一句:在锁定排班的那一天,这个数字已经存在了吗?

另一个陷阱是窗口选得太平稳。几个普通的周说明不了模型在高峰周的表现,所以回测要覆盖旺季和运营发生变化的时期。

解读结果也有陷阱。单个窗口可能只是运气好的一周,平均值又可能掩盖最差的窗口,所以下结论之前,要看完整的逐窗口表格。

最后一个陷阱藏在客户自己的数据里。缺货那天销量为零,不代表需求为零;如果不标记这些日子,模型就会学错。在信任销售序列之前,先和库存历史核对。

按正确的顺序做事,再把真实数字写进简历

第一周,先和运营人员确定预测步长,然后在任何人开始讨论模型架构之前,先把基线跑起来。

写简历时,不要只罗列算法名称。要描述做了什么,比如“7 天步长的多窗口回测,相对季节性朴素预测降低 MAE”,并写上你自己的真实数字。

看到提及预测或供应链的岗位描述时,问问他们拿哪个基线和模型比较;面试时,不等对方问就主动提基线。

下次有人展示一个漂亮的误差数字,别问他们用了什么模型。要问:和上周比怎么样?

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 2: 全栈工程能力语音 Agent 在笔记本上会让人打断,说明不了什么用 LiveKit 搭一条保险热线:法律声明不被打断,来电者能插话,转人工走客户的 SIP 中继。