PSI 到了 0.23,并不等于该重训模型
该不该重训,要看新标签上的表现和按客户历史校准的阈值,否则可能为一个运行正常的模型白耗一个冲刺。
要点速览
- PSI 在 0.1 到 0.25 之间,意味着该排查,还不到重训的时候。
- Evidently 和 Vertex AI 的默认阈值各不相同,应以客户历史数据校准。
- 重训应由新标签上的性能触发;标签到来之前,代理指标只能作为早期预警。
上线三周后,客户的监控面板变成了黄色。一个重要特征出现漂移,客户的产品经理只发来一句话:“我们需要重新训练模型吗?”
每个前线部署工程师(FDE)在部署之后都会遇到这个问题。太快回答“需要”,就会白白花掉一个迭代周期,去重训一个仍然运行良好的模型。没有证据就回答“暂时不用”,客户迟早会自己发现,模型已经错了一个月。
本指南介绍如何用数字回答这个问题:如何解读漂移信号,哪些阈值只需记录,哪些需要排查,以及什么时候重训才真正值得。
漂移是警报,不是诊断
首先要明白,“漂移”有好几种,每种需要不同的应对方式。Google 区分了两个概念。训练-服务偏差(training-serving skew)指生产数据与训练数据不一致。推理漂移(inference drift)指生产环境中特征的分布随时间变化。
Evidently 补充了第三种定义:概念漂移(concept drift),即输入与目标之间的关系发生变化,这与输入数据本身的变化不同。由于变化的是关系而不是输入,新进来的数据看上去可能和以前一模一样,“正确答案”的含义却已经变了。这正是这类漂移很容易被忽略的原因。
| 类型 | 什么在变 | 如何发现 | 第一步怎么做 |
|---|---|---|---|
| 训练-服务偏差 | 生产数据从一开始就与训练数据不同 | 将生产分布与训练集对比 | 检查特征管道,问题通常出在这里而非模型 |
| 推理漂移 | 输入分布随时间逐渐偏移 | 对比不同时间窗口(PSI、分布距离) | 排查原因,并检查模型在新标签上的性能 |
| 概念漂移 | 输入与目标之间的关系 | 只有拿到真实标签后才能看清 | 用新标注的数据重训 |
这张表点出了一个常被忽视的问题:直接在输入上测量漂移的工具,只能发现前两类。概念漂移只能借助标签才能看到。
自己算一次 PSI
PSI(群体稳定性指数,Population Stability Index)是衡量特征偏移程度最常用的指标。Arize 给出了三个“经验法则”区间。低于 0.1 属于小幅偏移,通常只需日常记录。
0.1 到 0.25 属于中等偏移:要排查相关特征,并检查模型在近期标签上的性能。高于 0.25 属于显著漂移,模型应重新验证或重训。
假设你的客户是一家电商平台,使用欺诈评分模型。你把“订单金额”特征分成 4 个分箱。在训练集中,每个分箱各占 25%。三周后,生产数据的分布依次为 10%、20%、30% 和 40%:高金额订单变多了。
import numpy as np
def psi(ref_pct, cur_pct, eps=1e-6):
ref = np.clip(np.asarray(ref_pct), eps, None)
cur = np.clip(np.asarray(cur_pct), eps, None)
return float(np.sum((cur - ref) * np.log(cur / ref)))
print(psi([0.25, 0.25, 0.25, 0.25], [0.10, 0.20, 0.30, 0.40]))
# ≈ 0.228
逐个分箱来看,贡献值约为 0.137、0.011、0.009 和 0.071,合计约 0.228。按 Arize 的区间,这落在“中等”区。此时给产品经理的正确答复是“暂不重训,但需要马上排查”,而不是“需要”。
大部分数值来自最低的分箱,其占比从 25% 降到了 10%。这就是展开讨论的线索。也许客户刚做了一次高价商品促销;也许关闭了一个低价销售渠道;也可能是数据管道把小额订单过滤掉了。
工具的默认阈值不是客户的阈值
第二个陷阱在这里。每个监控工具都自带默认数值。对于参考数据超过 1,000 行的表格数据,Evidently 默认对数值列使用 Wasserstein 距离,对类别列使用 Jensen-Shannon 散度,阈值为 0.1。在整个数据集层面,DatasetDriftPreset 只有在一半的列都发生漂移时才判定为漂移。
而 Vertex AI Model Monitoring v1 默认监控所有类别特征和数值特征,阈值为 0.3。0.1、0.25 和 0.3 这三个数用的是不同的尺子,放在一起比较毫无意义。
把一个工具的阈值照搬到另一个工具上,告警要么响个不停,要么永远不响。
Arize 自己也说,PSI 区间只是经验法则,并建议用历史数据校准误报率。在客户这边,方法相当简单。
对模型运行良好的每个历史月份分别计算 PSI。如果每个包含越南春节(Tet)或黑色星期五的月份也都算出 0.2,那么这个季节出现 0.228 就属正常。
决定重训的是性能,不是漂移
Google 的 MLOps 指南列出了几类重训触发条件:按计划、有新数据到来时,以及模型性能明显下降时。最后一种最贴近客户的问题。输入上的漂移只告诉你该往哪里看,性能才告诉你模型是否真的出了问题。
不过 Evidently 指出了一个很大的限制:重训需要新标注的真实数据。对欺诈模型来说,标签可能要等退款争议处理完才会到来,往往在数周之后。在这段空档里,可以用代理指标做早期预警,例如订单拦截比例,或模型输出分数的分布。
至于多久重训一次,Google 建议根据数据变化的速度和每次重训的成本来定。零售连锁的需求预测模型,和一个不断遭到不法分子试探的欺诈模型,不可能共用一个计划。
对 LLM 来说,评测取代了 PSI
如果你部署的是微调过的 LLM 或 Agent,大部分思路依然适用,只是衡量方式变了。OpenAI 的优化循环从评测开始并持续重复,运行在能代表真实输入的测试数据上。
因此,是否再次微调,应以评测分数为依据,评测定期在生产环境提示词的抽样上运行。用户觉得“最近回答变差了”,并不是证据。当客户开始询问新产品线时,先把这些问题加入评测集,然后再考虑重训。
下次告警时的处理流程
当面板变黄时,按以下顺序处理。首先,判断这是偏差还是漂移。如果生产数据从第一天起就与训练集不一致,就去修数据管道。
接着,对照用历史数据校准过的阈值(而不是默认阈值)解读 PSI 或距离指标。然后找出贡献最大的取值区间,把这个问题带给业务团队。
之后,检查模型在现有最新标签上的性能。如果还没有标签,就记录代理指标,并确定标签到来的日期。只有当性能下降超过与客户约定的水平时,才开启重训任务,同时准备好标注数据集,以及新旧模型的对比评测。
常见错误有三个。第一,把每次漂移告警都当作重训命令。第二,对工具的默认阈值不做任何调整。第三,也是最难发现的:只监控输入,漏掉了概念漂移,而它永远不会出现在分布图上。
把这套流程变成求职优势
阅读 FDE 招聘启事时,留意“model monitoring”“post-deployment”或“own production outcomes”这类表述。看到它们时,在面试中直接问上线后由谁负责模型,并把上面的流程作为你的回答。
在简历上,像“搭建漂移处理手册,阈值以 12 个月历史数据校准,减少了误报”这样的一句话,比任何证书都更有说服力,前提是其中的数字是你自己的。
下次客户再问“需要重训吗?”,最好的回答既不是“需要”,也不是“不需要”,而是:“PSI 处在排查区间,标签本周四到,这是我们约定好的触发重训的性能水平。”
这篇文章对你有帮助吗?
感谢你的反馈!