FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

PSI 到了 0.23,并不等于该重训模型

该不该重训,要看新标签上的表现和按客户历史校准的阈值,否则可能为一个运行正常的模型白耗一个冲刺。

分享微博

要点速览

  • PSI 在 0.1 到 0.25 之间,意味着该排查,还不到重训的时候。
  • Evidently 和 Vertex AI 的默认阈值各不相同,应以客户历史数据校准。
  • 重训应由新标签上的性能触发;标签到来之前,代理指标只能作为早期预警。
PSI 标尺按 Arize 的划分分为三个区间:低于 0.1 只需记录;0.1 到 0.25 需要排查并对照新标签检查;高于 0.25 应重新验证或重训。订单金额特征的 0.228 以橙色标出,位于中间区间,接近 0.25 的阈值。
三周后,“订单金额”特征的 PSI 约为 0.228,落在“中等”区间:现在就要排查,但还不必重训。来源:Arize 的 PSI 经验区间;数值根据文中示例计算。

上线三周后,客户的监控面板变成了黄色。一个重要特征出现漂移,客户的产品经理只发来一句话:“我们需要重新训练模型吗?”

每个前线部署工程师(FDE)在部署之后都会遇到这个问题。太快回答“需要”,就会白白花掉一个迭代周期,去重训一个仍然运行良好的模型。没有证据就回答“暂时不用”,客户迟早会自己发现,模型已经错了一个月。

本指南介绍如何用数字回答这个问题:如何解读漂移信号,哪些阈值只需记录,哪些需要排查,以及什么时候重训才真正值得。

漂移是警报,不是诊断

首先要明白,“漂移”有好几种,每种需要不同的应对方式。Google 区分了两个概念。训练-服务偏差(training-serving skew)指生产数据与训练数据不一致。推理漂移(inference drift)指生产环境中特征的分布随时间变化。

Evidently 补充了第三种定义:概念漂移(concept drift),即输入与目标之间的关系发生变化,这与输入数据本身的变化不同。由于变化的是关系而不是输入,新进来的数据看上去可能和以前一模一样,“正确答案”的含义却已经变了。这正是这类漂移很容易被忽略的原因。

类型 什么在变 如何发现 第一步怎么做
训练-服务偏差 生产数据从一开始就与训练数据不同 将生产分布与训练集对比 检查特征管道,问题通常出在这里而非模型
推理漂移 输入分布随时间逐渐偏移 对比不同时间窗口(PSI、分布距离) 排查原因,并检查模型在新标签上的性能
概念漂移 输入与目标之间的关系 只有拿到真实标签后才能看清 用新标注的数据重训

这张表点出了一个常被忽视的问题:直接在输入上测量漂移的工具,只能发现前两类。概念漂移只能借助标签才能看到。

自己算一次 PSI

PSI(群体稳定性指数,Population Stability Index)是衡量特征偏移程度最常用的指标。Arize 给出了三个“经验法则”区间。低于 0.1 属于小幅偏移,通常只需日常记录。

0.1 到 0.25 属于中等偏移:要排查相关特征,并检查模型在近期标签上的性能。高于 0.25 属于显著漂移,模型应重新验证或重训。

假设你的客户是一家电商平台,使用欺诈评分模型。你把“订单金额”特征分成 4 个分箱。在训练集中,每个分箱各占 25%。三周后,生产数据的分布依次为 10%、20%、30% 和 40%:高金额订单变多了。

import numpy as np

def psi(ref_pct, cur_pct, eps=1e-6):
    ref = np.clip(np.asarray(ref_pct), eps, None)
    cur = np.clip(np.asarray(cur_pct), eps, None)
    return float(np.sum((cur - ref) * np.log(cur / ref)))

print(psi([0.25, 0.25, 0.25, 0.25], [0.10, 0.20, 0.30, 0.40]))
# ≈ 0.228

逐个分箱来看,贡献值约为 0.137、0.011、0.009 和 0.071,合计约 0.228。按 Arize 的区间,这落在“中等”区。此时给产品经理的正确答复是“暂不重训,但需要马上排查”,而不是“需要”。

大部分数值来自最低的分箱,其占比从 25% 降到了 10%。这就是展开讨论的线索。也许客户刚做了一次高价商品促销;也许关闭了一个低价销售渠道;也可能是数据管道把小额订单过滤掉了。

工具的默认阈值不是客户的阈值

第二个陷阱在这里。每个监控工具都自带默认数值。对于参考数据超过 1,000 行的表格数据,Evidently 默认对数值列使用 Wasserstein 距离,对类别列使用 Jensen-Shannon 散度,阈值为 0.1。在整个数据集层面,DatasetDriftPreset 只有在一半的列都发生漂移时才判定为漂移。

而 Vertex AI Model Monitoring v1 默认监控所有类别特征和数值特征,阈值为 0.3。0.1、0.25 和 0.3 这三个数用的是不同的尺子,放在一起比较毫无意义。

把一个工具的阈值照搬到另一个工具上,告警要么响个不停,要么永远不响。

Arize 自己也说,PSI 区间只是经验法则,并建议用历史数据校准误报率。在客户这边,方法相当简单。

对模型运行良好的每个历史月份分别计算 PSI。如果每个包含越南春节(Tet)或黑色星期五的月份也都算出 0.2,那么这个季节出现 0.228 就属正常。

决定重训的是性能,不是漂移

Google 的 MLOps 指南列出了几类重训触发条件:按计划、有新数据到来时,以及模型性能明显下降时。最后一种最贴近客户的问题。输入上的漂移只告诉你该往哪里看,性能才告诉你模型是否真的出了问题。

不过 Evidently 指出了一个很大的限制:重训需要新标注的真实数据。对欺诈模型来说,标签可能要等退款争议处理完才会到来,往往在数周之后。在这段空档里,可以用代理指标做早期预警,例如订单拦截比例,或模型输出分数的分布。

至于多久重训一次,Google 建议根据数据变化的速度和每次重训的成本来定。零售连锁的需求预测模型,和一个不断遭到不法分子试探的欺诈模型,不可能共用一个计划。

对 LLM 来说,评测取代了 PSI

如果你部署的是微调过的 LLM 或 Agent,大部分思路依然适用,只是衡量方式变了。OpenAI 的优化循环从评测开始并持续重复,运行在能代表真实输入的测试数据上。

因此,是否再次微调,应以评测分数为依据,评测定期在生产环境提示词的抽样上运行。用户觉得“最近回答变差了”,并不是证据。当客户开始询问新产品线时,先把这些问题加入评测集,然后再考虑重训。

下次告警时的处理流程

当面板变黄时,按以下顺序处理。首先,判断这是偏差还是漂移。如果生产数据从第一天起就与训练集不一致,就去修数据管道。

接着,对照用历史数据校准过的阈值(而不是默认阈值)解读 PSI 或距离指标。然后找出贡献最大的取值区间,把这个问题带给业务团队。

之后,检查模型在现有最新标签上的性能。如果还没有标签,就记录代理指标,并确定标签到来的日期。只有当性能下降超过与客户约定的水平时,才开启重训任务,同时准备好标注数据集,以及新旧模型的对比评测。

常见错误有三个。第一,把每次漂移告警都当作重训命令。第二,对工具的默认阈值不做任何调整。第三,也是最难发现的:只监控输入,漏掉了概念漂移,而它永远不会出现在分布图上。

把这套流程变成求职优势

阅读 FDE 招聘启事时,留意“model monitoring”“post-deployment”或“own production outcomes”这类表述。看到它们时,在面试中直接问上线后由谁负责模型,并把上面的流程作为你的回答。

在简历上,像“搭建漂移处理手册,阈值以 12 个月历史数据校准,减少了误报”这样的一句话,比任何证书都更有说服力,前提是其中的数字是你自己的。

下次客户再问“需要重训吗?”,最好的回答既不是“需要”,也不是“不需要”,而是:“PSI 处在排查区间,标签本周四到,这是我们约定好的触发重训的性能水平。”

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量AI 选型比拼,谁设计评测谁定规则在演示账号上调好的提示词,到生产环境就会失灵;用客户真实数据做留出测试,签约前就能看清哪里会输。