照抄上周,可能比客户的预测模型更准
先建朴素基线,再用模型没见过的数据回测,别让训练集上的误差决定排班。
要点速览
- 每个预测模型都应在相同的预测步长上,与朴素预测和季节性朴素预测比较。
- 训练数据上的误差无法说明模型的预测能力,滚动起点回测才能回答这个问题。
- 要把误差换算成运营决策,因为客户安排的是班次和卡车,买的不是 MAE。
设想你在一家物流公司的第一周。运营负责人打开一页幻灯片:预测仓库订单量的模型每天只差 2.4 单,她想从下个月起用它来排班。
你问这个数字是在什么数据上测出来的,答案是模型训练用的那批数据。它只说明模型记住过去的能力,还说明不了下周会怎样。
下个月,整个仓库都要按这个数字运转,所以在排班锁定之前,你得把它核实清楚。这里的误差意味着人手过多或卡车不够,而不是仪表盘上某个指标略有偏差;也不要默认客户团队已经核查过。
照抄过去,也是一种模型
第一次工作会议就该建好两个基线。朴素预测(naïve)让每个预测值都等于最后一个观测值。季节性朴素预测(seasonal naïve)让每个预测值等于同一季节位置上最近的观测值;如果周期是一周,就是上周同一天的值。
它们不是最终答案。教科书 Forecasting: Principles and Practice(FPP3)把简单方法当作基准,用来确保新方法确实更好,基线的价值正在于此:没有基线,“模型每天差 2.4 单”说明不了任何问题。
现在用假设的数字算一遍。第 100 周,仓库从周一到周日分别收到 100、95、98、102、130、180 和 170 单。第 101 周的实际数字是 104、99、96、106、128、186 和 165,而且第 100 周一结束,就要预测整个第 101 周。
朴素预测取周日的数字,所以七天都预测 170 单。绝对误差总和为 338,平均绝对误差(MAE)约为每天 48.3 单。季节性朴素预测直接照搬第 100 周,误差总和只有 27,MAE 约为 3.9。
误差要换算成人和卡车
客户不按 MAE 排班,所以要换算成他们的单位。假设一名工人每班能拣 20 单。用朴素预测,周一上午的预测多出 66 单,意味着要多叫三个以上的人;用季节性朴素预测,平均 3.9 单的误差还不到一个人。
卡车同理。假设每辆卡车装 30 单:朴素预测多出的 66 单意味着白订两辆多卡车,而季节性朴素预测误差最大的一天只差 6 单,相当于五分之一辆车。
要做这种换算,一开始就得问运营人员:这个预测服务于哪个决策,提前多久锁定,在什么粒度上?如果排班提前 7 天锁定,预测步长就是 7 天,所有测量都必须使用这个步长。
FPP3 也指出,需要多步预测时,一步预测误差可能并不相关,可以调整评估流程,测量第 h 步的误差。提前一天测出的误差,对提前一周排班的人没有帮助。
回测只有一条硬规则
Rob Hyndman 用预测起点随时间向前滚动的图景来描述这种评估。规则很简洁:训练集只包含测试所用观测值之前发生的观测值。然后对各个测试集的误差取平均。
取 104 周的历史数据和四个 7 天窗口。上面的计算就是第一个窗口:训练到第 100 周末,在第 101 周上评分。最后一个窗口训练到第 103 周,在第 104 周上评分,所以训练集每一轮都会变大,scikit-learn 的 TimeSeriesSplit 也是这样工作的。
代码只有 20 行左右。亲手写一遍,才能看清数据究竟在哪里切开;把预测函数做成参数,让每种方法都在同样的窗口上评分:
import numpy as np
import pandas as pd
def naive(train, h):
return [train.iloc[-1]] * h
def seasonal_naive(train, h, season=7):
# 假设 h <= season
return train.iloc[-season:].values[:h]
def backtest(y, forecast_fn, h=7, n_windows=4):
# y:按日的 pd.Series,已按时间排序,没有缺失的日期
rows = []
for w in range(n_windows, 0, -1):
cutoff = len(y) - w * h
train = y.iloc[:cutoff] # 只用预测起点之前的数据
test = y.iloc[cutoff:cutoff + h]
forecast = np.asarray(forecast_fn(train, h))
mae = abs(test.values - forecast).mean()
rows.append({"start": y.index[cutoff], "mae": mae})
return pd.DataFrame(rows)
每次调用 backtest 都返回一个独立的 DataFrame,按起始日期合并,就得到两列可以对比的结果:
comparison = backtest(y, naive).merge(
backtest(y, seasonal_naive),
on="start",
suffixes=("_naive", "_seasonal"),
)
要测试客户的模型,就把它包装成一个接收 train 和 h 的函数,在每个窗口里用 train 重新训练,并返回 h 个预测值。然后用同样的方式合并结果。
客户的序列很多时,不要自己一直扩展这个循环。Nixtla 的 StatsForecast 文档把交叉验证描述为一个在历史数据上滑动、预测紧随其后时段的窗口,step_size 是窗口之间的间隔,也就是多久运行一次预测。把它设成与客户锁定排班的节奏一致。
Amazon Forecast 的测量方式相同:该服务的文档用回测来评估预测器(predictor)的准确度。下表的四个窗口经过删减,便于理解;有 104 周的历史数据,下结论之前完全可以多跑几个。
| 7 天窗口 | 季节性朴素预测 MAE | 客户模型 MAE |
|---|---|---|
| 1(第 101 周) | 3.9 | 4.4 |
| 2(第 102 周) | 4.6 | 4.9 |
| 3(第 103 周) | 4.2 | 4.1 |
| 4(第 104 周) | 5.3 | 6.6 |
| 平均 | 4.5 | 5.0 |
这些仍是假设的数字,但要像在客户面前那样解读。号称只差 2.4 单的模型,到了真正要预测的时候平均差 5.0 单,输给基线的 4.5,四个窗口只赢了一个。首先要看第 4 个窗口,因为那里差距最大。
这四周可能太平稳,所以先别下结论。在 104 周的历史数据里多跑几个覆盖高峰周的窗口,然后再提建议。
如果结果不变,你要对运营负责人说的话很简短:“模型还没有超过照抄上周。下周我们可以先用基线排班,等模型在同一个衡量标准上超过基线,再把它换上去。”你不是在毁掉谁的项目,而是给客户一个马上能用的方案和一个可衡量的目标。
如果结果相反,模型赢下大多数窗口,那就在讨论部署之前,先把差距换算成人和卡车。这样客户就知道,与最省钱的做法相比,他们能多得到什么。
MASE 低于 1 还不算赢
在这个例子中,平均绝对标度误差(MASE)用模型误差除以训练数据上一步朴素预测的平均误差。根据 FPP3,结果低于 1 表示优于平均的一步朴素预测,高于 1 表示更差。
Hyndman 和 Koehler 提出 MASE,作为跨多条序列比较准确度的标准指标。这个指标确实方便,但低于 1 的数字很容易让人高兴得太早。
以窗口 1 为例:训练到第 100 周末,在第 101 周上评分。为简化起见,假设整个训练数据中相邻两天的差值与第 100 周完全一致:六个差值加起来是 100,平均约 16.7。
模型差 4.4 单,MASE 约为 0.26,听起来非常亮眼。季节性朴素预测差 3.9 单,得分约 0.23,仍然胜过模型。
0.26 并不能证明模型好。这条序列有明显的周周期,周末的跳升放大了一步预测的分母,所以低于 1 相当容易。
因此,MASE 一定要和季节性朴素预测的数字一起报告,绝不能单独呈现。读自己工具输出的数字时,也要先确认它用的是哪个分母,再与本文比较。
让回测好看却无用的错误
第一个错误是出于习惯使用随机 K 折交叉验证。scikit-learn 文档解释了为什么这对按时间排序的数据是错的:模型会从未来学习,再在过去上评分。
即使数据切得正确,泄漏仍可能经由特征发生。在整条序列上计算的滚动平均或归一化,会把未来带进过去;很晚才定稿的促销日历也一样,如果真实预测时它还不存在的话。对每个特征都问一句:在锁定排班的那一天,这个数字已经存在了吗?
另一个陷阱是窗口选得太平稳。几个普通的周说明不了模型在高峰周的表现,所以回测要覆盖旺季和运营发生变化的时期。
解读结果也有陷阱。单个窗口可能只是运气好的一周,平均值又可能掩盖最差的窗口,所以下结论之前,要看完整的逐窗口表格。
最后一个陷阱藏在客户自己的数据里。缺货那天销量为零,不代表需求为零;如果不标记这些日子,模型就会学错。在信任销售序列之前,先和库存历史核对。
按正确的顺序做事,再把真实数字写进简历
第一周,先和运营人员确定预测步长,然后在任何人开始讨论模型架构之前,先把基线跑起来。
写简历时,不要只罗列算法名称。要描述做了什么,比如“7 天步长的多窗口回测,相对季节性朴素预测降低 MAE”,并写上你自己的真实数字。
看到提及预测或供应链的岗位描述时,问问他们拿哪个基线和模型比较;面试时,不等对方问就主动提基线。
下次有人展示一个漂亮的误差数字,别问他们用了什么模型。要问:和上周比怎么样?
这篇文章对你有帮助吗?
感谢你的反馈!
8 个信源
- Forecasting: Principles and Practice (3rd ed.), ch. 5 – Some simple forecasting methods
- Cross-validation for time series (Hyndsight)
- Forecasting: Principles and Practice (3rd ed.), ch. 5 – Time series cross-validation
- Forecasting: Principles and Practice (3rd ed.), ch. 5 – Evaluating point forecast accuracy
- Another Look at Measures of Forecast Accuracy · 2005-05
- Time Series Cross-Validation: Evaluating a Model on Past Data (StatsForecast tutorial)
- TimeSeriesSplit — scikit-learn 1.9.1 documentation
- PredictorExecutionDetails – Amazon Forecast