# PSI 到了 0.23，并不等于该重训模型

> 该不该重训，要看新标签上的表现和按客户历史校准的阈值，否则可能为一个运行正常的模型白耗一个冲刺。

原文: https://fdetimes.net/zh/guides/psi-drift-retrain-decision-thresholds/

上线三周后，客户的监控面板变成了黄色。一个重要特征出现漂移，客户的产品经理只发来一句话：“我们需要重新训练模型吗？”

每个前线部署工程师（FDE）在部署之后都会遇到这个问题。太快回答“需要”，就会白白花掉一个迭代周期，去重训一个仍然运行良好的模型。没有证据就回答“暂时不用”，客户迟早会自己发现，模型已经错了一个月。

本指南介绍如何用数字回答这个问题：如何解读漂移信号，哪些阈值只需记录，哪些需要排查，以及什么时候重训才真正值得。

## 漂移是警报，不是诊断

首先要明白，“漂移”有好几种，每种需要不同的应对方式。Google 区分了两个概念。训练-服务偏差（training-serving skew）指生产数据与训练数据不一致。推理漂移（inference drift）指生产环境中特征的分布随时间变化。

Evidently 补充了第三种定义：概念漂移（concept drift），即输入与目标之间的关系发生变化，这与输入数据本身的变化不同。由于变化的是关系而不是输入，新进来的数据看上去可能和以前一模一样，“正确答案”的含义却已经变了。这正是这类漂移很容易被忽略的原因。

| 类型 | 什么在变 | 如何发现 | 第一步怎么做 |
|---|---|---|---|
| 训练-服务偏差 | 生产数据从一开始就与训练数据不同 | 将生产分布与训练集对比 | 检查特征管道，问题通常出在这里而非模型 |
| 推理漂移 | 输入分布随时间逐渐偏移 | 对比不同时间窗口（PSI、分布距离） | 排查原因，并检查模型在新标签上的性能 |
| 概念漂移 | 输入与目标之间的关系 | 只有拿到真实标签后才能看清 | 用新标注的数据重训 |

这张表点出了一个常被忽视的问题：直接在输入上测量漂移的工具，只能发现前两类。概念漂移只能借助标签才能看到。

## 自己算一次 PSI

PSI（群体稳定性指数，Population Stability Index）是衡量特征偏移程度最常用的指标。Arize 给出了三个“经验法则”区间。低于 0.1 属于小幅偏移，通常只需日常记录。

0.1 到 0.25 属于中等偏移：要排查相关特征，并检查模型在近期标签上的性能。高于 0.25 属于显著漂移，模型应重新验证或重训。

假设你的客户是一家电商平台，使用欺诈评分模型。你把“订单金额”特征分成 4 个分箱。在训练集中，每个分箱各占 25%。三周后，生产数据的分布依次为 10%、20%、30% 和 40%：高金额订单变多了。

```python
import numpy as np

def psi(ref_pct, cur_pct, eps=1e-6):
    ref = np.clip(np.asarray(ref_pct), eps, None)
    cur = np.clip(np.asarray(cur_pct), eps, None)
    return float(np.sum((cur - ref) * np.log(cur / ref)))

print(psi([0.25, 0.25, 0.25, 0.25], [0.10, 0.20, 0.30, 0.40]))
# ≈ 0.228
```

逐个分箱来看，贡献值约为 0.137、0.011、0.009 和 0.071，合计约 0.228。按 Arize 的区间，这落在“中等”区。此时给产品经理的正确答复是“暂不重训，但需要马上排查”，而不是“需要”。

大部分数值来自最低的分箱，其占比从 25% 降到了 10%。这就是展开讨论的线索。也许客户刚做了一次高价商品促销；也许关闭了一个低价销售渠道；也可能是数据管道把小额订单过滤掉了。

## 工具的默认阈值不是客户的阈值

第二个陷阱在这里。每个监控工具都自带默认数值。对于参考数据超过 1,000 行的表格数据，Evidently 默认对数值列使用 Wasserstein 距离，对类别列使用 Jensen-Shannon 散度，阈值为 0.1。在整个数据集层面，`DatasetDriftPreset` 只有在一半的列都发生漂移时才判定为漂移。

而 Vertex AI Model Monitoring v1 默认监控所有类别特征和数值特征，阈值为 0.3。0.1、0.25 和 0.3 这三个数用的是不同的尺子，放在一起比较毫无意义。

把一个工具的阈值照搬到另一个工具上，告警要么响个不停，要么永远不响。

Arize 自己也说，PSI 区间只是经验法则，并建议用历史数据校准误报率。在客户这边，方法相当简单。

对模型运行良好的每个历史月份分别计算 PSI。如果每个包含越南春节（Tet）或黑色星期五的月份也都算出 0.2，那么这个季节出现 0.228 就属正常。

**要点:** 最好的漂移阈值，是经过客户自身历史数据检验的阈值。

## 决定重训的是性能，不是漂移

Google 的 MLOps 指南列出了几类重训触发条件：按计划、有新数据到来时，以及模型性能明显下降时。最后一种最贴近客户的问题。输入上的漂移只告诉你该往哪里看，性能才告诉你模型是否真的出了问题。

不过 Evidently 指出了一个很大的限制：重训需要新标注的真实数据。对欺诈模型来说，标签可能要等退款争议处理完才会到来，往往在数周之后。在这段空档里，可以用代理指标做早期预警，例如订单拦截比例，或模型输出分数的分布。

至于多久重训一次，Google 建议根据数据变化的速度和每次重训的成本来定。零售连锁的需求预测模型，和一个不断遭到不法分子试探的欺诈模型，不可能共用一个计划。

## 对 LLM 来说，评测取代了 PSI

如果你部署的是微调过的 LLM 或 Agent，大部分思路依然适用，只是衡量方式变了。OpenAI 的优化循环从评测开始并持续重复，运行在能代表真实输入的测试数据上。

因此，是否再次微调，应以评测分数为依据，评测定期在生产环境提示词的抽样上运行。用户觉得“最近回答变差了”，并不是证据。当客户开始询问新产品线时，先把这些问题加入评测集，然后再考虑重训。

## 下次告警时的处理流程

当面板变黄时，按以下顺序处理。首先，判断这是偏差还是漂移。如果生产数据从第一天起就与训练集不一致，就去修数据管道。

接着，对照用历史数据校准过的阈值（而不是默认阈值）解读 PSI 或距离指标。然后找出贡献最大的取值区间，把这个问题带给业务团队。

之后，检查模型在现有最新标签上的性能。如果还没有标签，就记录代理指标，并确定标签到来的日期。只有当性能下降超过与客户约定的水平时，才开启重训任务，同时准备好标注数据集，以及新旧模型的对比评测。

常见错误有三个。第一，把每次漂移告警都当作重训命令。第二，对工具的默认阈值不做任何调整。第三，也是最难发现的：只监控输入，漏掉了概念漂移，而它永远不会出现在分布图上。

## 把这套流程变成求职优势

阅读 FDE 招聘启事时，留意“model monitoring”“post-deployment”或“own production outcomes”这类表述。看到它们时，在面试中直接问上线后由谁负责模型，并把上面的流程作为你的回答。

在简历上，像“搭建漂移处理手册，阈值以 12 个月历史数据校准，减少了误报”这样的一句话，比任何证书都更有说服力，前提是其中的数字是你自己的。

下次客户再问“需要重训吗？”，最好的回答既不是“需要”，也不是“不需要”，而是：“PSI 处在排查区间，标签本周四到，这是我们约定好的触发重训的性能水平。”

**本周动手试试:**

- 选一个生产环境中模型的重要特征，用本文的代码计算训练数据与最近 30 天生产数据之间的 PSI
- 在过去几个月的数据上重新计算，看看正常月份的 PSI 是多少，再以此设定告警阈值
- 问客户真实标签需要多久才能到来、由谁负责标注，并把答案写进处理手册

## 信源

- [What Is Population Stability Index (PSI)?](https://arize.com/glossary/population-stability-index-psi/)

- [Data drift algorithm](https://docs-old.evidentlyai.com/reference/data-drift-algorithm)

- [Introduction to Vertex AI Model Monitoring](https://docs.cloud.google.com/vertex-ai/docs/model-monitoring/overview)

- [MLOps: Continuous delivery and automation pipelines in machine learning](https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning)

- [What is concept drift in ML, and how to detect and address it](https://www.evidentlyai.com/ml-in-production/concept-drift)

- [Model optimization](https://developers.openai.com/api/docs/guides/model-optimization)
