# 照抄上周，可能比客户的预测模型更准

> 先建朴素基线，再用模型没见过的数据回测，别让训练集上的误差决定排班。

原文: https://fdetimes.net/zh/guides/demand-forecasting-baselines-backtesting/

设想你在一家物流公司的第一周。运营负责人打开一页幻灯片：预测仓库订单量的模型每天只差 2.4 单，她想从下个月起用它来排班。

你问这个数字是在什么数据上测出来的，答案是模型训练用的那批数据。它只说明模型记住过去的能力，还说明不了下周会怎样。

下个月，整个仓库都要按这个数字运转，所以在排班锁定之前，你得把它核实清楚。这里的误差意味着人手过多或卡车不够，而不是仪表盘上某个指标略有偏差；也不要默认客户团队已经核查过。

## 照抄过去，也是一种模型

第一次工作会议就该建好两个基线。朴素预测（naïve）让每个预测值都等于最后一个观测值。季节性朴素预测（seasonal naïve）让每个预测值等于同一季节位置上最近的观测值；如果周期是一周，就是上周同一天的值。

它们不是最终答案。教科书 *Forecasting: Principles and Practice*（FPP3）把简单方法当作基准，用来确保新方法确实更好，基线的价值正在于此：没有基线，“模型每天差 2.4 单”说明不了任何问题。

现在用假设的数字算一遍。第 100 周，仓库从周一到周日分别收到 100、95、98、102、130、180 和 170 单。第 101 周的实际数字是 104、99、96、106、128、186 和 165，而且第 100 周一结束，就要预测整个第 101 周。

朴素预测取周日的数字，所以七天都预测 170 单。绝对误差总和为 338，平均绝对误差（MAE）约为每天 48.3 单。季节性朴素预测直接照搬第 100 周，误差总和只有 27，MAE 约为 3.9。

## 误差要换算成人和卡车

客户不按 MAE 排班，所以要换算成他们的单位。假设一名工人每班能拣 20 单。用朴素预测，周一上午的预测多出 66 单，意味着要多叫三个以上的人；用季节性朴素预测，平均 3.9 单的误差还不到一个人。

卡车同理。假设每辆卡车装 30 单：朴素预测多出的 66 单意味着白订两辆多卡车，而季节性朴素预测误差最大的一天只差 6 单，相当于五分之一辆车。

要做这种换算，一开始就得问运营人员：这个预测服务于哪个决策，提前多久锁定，在什么粒度上？如果排班提前 7 天锁定，预测步长就是 7 天，所有测量都必须使用这个步长。

FPP3 也指出，需要多步预测时，一步预测误差可能并不相关，可以调整评估流程，测量第 h 步的误差。提前一天测出的误差，对提前一周排班的人没有帮助。

## 回测只有一条硬规则

Rob Hyndman 用预测起点随时间向前滚动的图景来描述这种评估。规则很简洁：训练集只包含测试所用观测值之前发生的观测值。然后对各个测试集的误差取平均。

取 104 周的历史数据和四个 7 天窗口。上面的计算就是第一个窗口：训练到第 100 周末，在第 101 周上评分。最后一个窗口训练到第 103 周，在第 104 周上评分，所以训练集每一轮都会变大，scikit-learn 的 `TimeSeriesSplit` 也是这样工作的。

代码只有 20 行左右。亲手写一遍，才能看清数据究竟在哪里切开；把预测函数做成参数，让每种方法都在同样的窗口上评分：

```python
import numpy as np
import pandas as pd

def naive(train, h):
    return [train.iloc[-1]] * h

def seasonal_naive(train, h, season=7):
    # 假设 h <= season
    return train.iloc[-season:].values[:h]

def backtest(y, forecast_fn, h=7, n_windows=4):
    # y：按日的 pd.Series，已按时间排序，没有缺失的日期
    rows = []
    for w in range(n_windows, 0, -1):
        cutoff = len(y) - w * h
        train = y.iloc[:cutoff]              # 只用预测起点之前的数据
        test = y.iloc[cutoff:cutoff + h]
        forecast = np.asarray(forecast_fn(train, h))
        mae = abs(test.values - forecast).mean()
        rows.append({"start": y.index[cutoff], "mae": mae})
    return pd.DataFrame(rows)
```

每次调用 `backtest` 都返回一个独立的 DataFrame，按起始日期合并，就得到两列可以对比的结果：

```python
comparison = backtest(y, naive).merge(
    backtest(y, seasonal_naive),
    on="start",
    suffixes=("_naive", "_seasonal"),
)
```

要测试客户的模型，就把它包装成一个接收 `train` 和 `h` 的函数，在每个窗口里用 `train` 重新训练，并返回 `h` 个预测值。然后用同样的方式合并结果。

客户的序列很多时，不要自己一直扩展这个循环。Nixtla 的 StatsForecast 文档把交叉验证描述为一个在历史数据上滑动、预测紧随其后时段的窗口，`step_size` 是窗口之间的间隔，也就是多久运行一次预测。把它设成与客户锁定排班的节奏一致。

Amazon Forecast 的测量方式相同：该服务的文档用回测来评估预测器（predictor）的准确度。下表的四个窗口经过删减，便于理解；有 104 周的历史数据，下结论之前完全可以多跑几个。

| 7 天窗口 | 季节性朴素预测 MAE | 客户模型 MAE |
|---|---|---|
| 1（第 101 周） | 3.9 | 4.4 |
| 2（第 102 周） | 4.6 | 4.9 |
| 3（第 103 周） | 4.2 | 4.1 |
| 4（第 104 周） | 5.3 | 6.6 |
| 平均 | 4.5 | 5.0 |

这些仍是假设的数字，但要像在客户面前那样解读。号称只差 2.4 单的模型，到了真正要预测的时候平均差 5.0 单，输给基线的 4.5，四个窗口只赢了一个。首先要看第 4 个窗口，因为那里差距最大。

这四周可能太平稳，所以先别下结论。在 104 周的历史数据里多跑几个覆盖高峰周的窗口，然后再提建议。

如果结果不变，你要对运营负责人说的话很简短：“模型还没有超过照抄上周。下周我们可以先用基线排班，等模型在同一个衡量标准上超过基线，再把它换上去。”你不是在毁掉谁的项目，而是给客户一个马上能用的方案和一个可衡量的目标。

如果结果相反，模型赢下大多数窗口，那就在讨论部署之前，先把差距换算成人和卡车。这样客户就知道，与最省钱的做法相比，他们能多得到什么。

**要点:** 连照抄上周都比不过的模型，还没有什么可部署的。

## MASE 低于 1 还不算赢

在这个例子中，平均绝对标度误差（MASE）用模型误差除以训练数据上一步朴素预测的平均误差。根据 FPP3，结果低于 1 表示优于平均的一步朴素预测，高于 1 表示更差。

Hyndman 和 Koehler 提出 MASE，作为跨多条序列比较准确度的标准指标。这个指标确实方便，但低于 1 的数字很容易让人高兴得太早。

以窗口 1 为例：训练到第 100 周末，在第 101 周上评分。为简化起见，假设整个训练数据中相邻两天的差值与第 100 周完全一致：六个差值加起来是 100，平均约 16.7。

模型差 4.4 单，MASE 约为 0.26，听起来非常亮眼。季节性朴素预测差 3.9 单，得分约 0.23，仍然胜过模型。

0.26 并不能证明模型好。这条序列有明显的周周期，周末的跳升放大了一步预测的分母，所以低于 1 相当容易。

因此，MASE 一定要和季节性朴素预测的数字一起报告，绝不能单独呈现。读自己工具输出的数字时，也要先确认它用的是哪个分母，再与本文比较。

## 让回测好看却无用的错误

第一个错误是出于习惯使用随机 K 折交叉验证。scikit-learn 文档解释了为什么这对按时间排序的数据是错的：模型会从未来学习，再在过去上评分。

即使数据切得正确，泄漏仍可能经由特征发生。在整条序列上计算的滚动平均或归一化，会把未来带进过去；很晚才定稿的促销日历也一样，如果真实预测时它还不存在的话。对每个特征都问一句：在锁定排班的那一天，这个数字已经存在了吗？

另一个陷阱是窗口选得太平稳。几个普通的周说明不了模型在高峰周的表现，所以回测要覆盖旺季和运营发生变化的时期。

解读结果也有陷阱。单个窗口可能只是运气好的一周，平均值又可能掩盖最差的窗口，所以下结论之前，要看完整的逐窗口表格。

最后一个陷阱藏在客户自己的数据里。缺货那天销量为零，不代表需求为零；如果不标记这些日子，模型就会学错。在信任销售序列之前，先和库存历史核对。

## 按正确的顺序做事，再把真实数字写进简历

第一周，先和运营人员确定预测步长，然后在任何人开始讨论模型架构之前，先把基线跑起来。

写简历时，不要只罗列算法名称。要描述做了什么，比如“7 天步长的多窗口回测，相对季节性朴素预测降低 MAE”，并写上你自己的真实数字。

看到提及预测或供应链的岗位描述时，问问他们拿哪个基线和模型比较；面试时，不等对方问就主动提基线。

下次有人展示一个漂亮的误差数字，别问他们用了什么模型。要问：和上周比怎么样？

**本周动手试试:**

- 找一条你有权使用的每日销量序列，用 4 个窗口对朴素预测和季节性朴素预测做 7 天回测，再用一句话写出这个误差相当于多少名员工或多少辆卡车。
- 把任意一个模型放进同样的窗口，记录它对基线赢了几个窗口，而不只是平均得分。

## 信源

- [Forecasting: Principles and Practice (3rd ed.), ch. 5 – Some simple forecasting methods](https://otexts.com/fpp3/simple-methods.html)

- [Cross-validation for time series (Hyndsight)](https://robjhyndman.com/hyndsight/tscv/)

- [Forecasting: Principles and Practice (3rd ed.), ch. 5 – Time series cross-validation](https://otexts.com/fpp3/tscv.html)

- [Forecasting: Principles and Practice (3rd ed.), ch. 5 – Evaluating point forecast accuracy](https://otexts.com/fpp3/accuracy.html)

- [Another Look at Measures of Forecast Accuracy](https://econpapers.repec.org/paper/mshebswps/2005-13.htm)

- [Time Series Cross-Validation: Evaluating a Model on Past Data (StatsForecast tutorial)](https://nixtlaverse.nixtla.io/statsforecast/docs/tutorials/crossvalidation.html)

- [TimeSeriesSplit — scikit-learn 1.9.1 documentation](https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.TimeSeriesSplit.html)

- [PredictorExecutionDetails – Amazon Forecast](https://docs.aws.amazon.com/forecast/latest/dg/API_PredictorExecutionDetails.html)
