发现数据漂移,先选对模型表现良好的那个月
Evidently 拿参考数据集比对生产数据,基线一偏,告警全偏;你离场后,工具归客户团队接手。
要点速览
- Evidently 是基于 Apache 2.0 的开源 Python 库,内置 100 多个指标,覆盖从数据漂移检测到 LLM 评审
- 参考数据集不超过 1000 条观测时使用统计检验(p ≤ 0.05 即判定漂移),数据更多时改用距离指标,阈值为 0.1
- 声明通过/失败条件,按小时、按天或在新数据到达时运行,交接之后就多了一道检查关口
离开客户三个月后,评分模型仍在运行,也没有报任何错误,但输入数据已经变了。模型察觉不到。通常是业务团队先发现问题:数字开始看起来不对劲。
Evidently 正是为了填补这个空白。它是一个用于评估、测试和监控 ML 与 LLM 系统的开源 Python 库,采用 Apache 2.0 许可证发布。
对前线部署工程师(FDE)来说,这个许可证带来的好处非常实际。直接装进客户环境的 Apache 2.0 库,通常比一个需要签合同的新服务更容易通过法务审查。你离开后,留下的也是客户团队自己就能运行的工具。
一切度量都从基线开始
这个包内置 100 多个指标,从数据漂移检测到 LLM 评审都有,并提供声明式测试 API。文档列出的主要用例中,就包括表格数据质量检查和数据漂移检查。
核心逻辑很简单:把当前的生产数据和参考数据集做比较。Fuzzy Labs 的 MLOps 工程师 Oscar Wong 把参考数据集描述为用来对比的基准。2020 年发布 Evidently 0.0.1 版本的博客文章建议,选取模型表现稳定时期的数据。
所以在客户那里,第一个问题不是“这个库怎么装”,而是“模型在哪个月的表现符合你们的预期”。基线偏了,后面每一条告警都会跟着偏。
漂移阈值取决于参考数据有多少
Evidently 并非所有情况都用同一种漂移度量。默认方法由参考数据集的大小决定,这也是交接时最容易引起困惑的地方。
参考数据集不超过 1000 条观测时,Evidently 使用 KS、卡方或 Z-score 等统计检验。漂移分数是 p 值,默认置信水平为 0.95,因此 p ≤ 0.05 的列都视为发生了漂移。
参考数据集更大时,工具会改用 Wasserstein 或 Jensen-Shannon 等距离指标,默认阈值为 0.1。
举个例子。你交接一个有 12 个特征的贷款审批模型,参考数据集是 800 行验证数据。因为 800 没有超过 1000,每一列都用统计检验来检查。
假设之后参考数据集换成了上一季度的 5000 行数据。度量方式随之切换为距离指标,阈值 0.1,同一批生产数据就可能得出不同的结果。如果文档没有记下这一点,接手的人不会明白告警为什么突然变多或变少。
数据集级漂移也不是固定的默认值,而是由你来声明。文档中的示例规定,50% 的列发生漂移时,整个数据集视为漂移。12 个特征按这条规则,只要 6 列漂移,整个数据集就会被标记。
要问问客户:这 6 列是否同等重要?收入列的漂移,可能比五个次要列加起来还值得担心。
从报告到检查关口
报告只有被人打开才有用。因此下一步应该是声明式测试 API:写下通过/失败条件,漂移检查就成了 CI 里一个会失败的步骤,和单元测试一样。
下面的代码是针对上文 12 个特征贷款模型的最小示意。
# 示意代码,未针对特定版本验证:
# 类名(Report、Dataset、DataDefinition、DriftedColumnsCount、lt)
# 以及结果结构(result["tests"]、"status")在不同 Evidently 版本中
# 可能有所不同。用于真实数据管道之前,请查阅所安装版本的文档。
import sys
import pandas as pd
from evidently import Report, Dataset, DataDefinition
from evidently.presets import DataDriftPreset
from evidently.metrics import DriftedColumnsCount
from evidently.tests import lt
reference = pd.read_parquet("validation_800_rows.parquet")
current = pd.read_parquet("production_last_batch.parquet")
definition = DataDefinition()
ref = Dataset.from_pandas(reference, data_definition=definition)
cur = Dataset.from_pandas(current, data_definition=definition)
# 1. 报告:只做度量和汇总,导出 HTML 给业务团队
report = Report([DataDriftPreset()])
report.run(current_data=cur, reference_data=ref).save_html("drift_report.html")
# 2. 测试:同样的度量,加上通过/失败条件
# lt(6):12 列中有 6 列(50%)或更多发生漂移时判定失败
suite = Report([DriftedColumnsCount(tests=[lt(6)])])
result = suite.run(current_data=cur, reference_data=ref).dict()
# 3. CI 关口:任何测试未通过就中止流水线
failed = [t for t in result["tests"] if t["status"] != "SUCCESS"]
if failed:
print(failed)
sys.exit(1)
报告和测试读取的是同一份数据,但面向不同的人。HTML 文件给业务团队看。非零退出码会让 CI 停下并发出告警,即使没人记得去打开报告。
Evidently 的监控文档建议定时运行批量检查,按小时或按天,也可以在新数据或新标签到达时触发。对于贷款模型,每来一批新申请就运行一次检查,才能赶在客户从结果中看出问题之前发现漂移。
工具替你做不了的事
漂移说明数据分布变了,并不说明模型预测错了。某个特征可能发生偏移,而预测质量依然稳定;反过来也可能发生。所以不要向客户承诺“没有漂移”就等于“模型依然可靠”。
0.95 和 0.1 这两个阈值只是默认值,不是真理。把它们当作起点,和业务团队商定变化到什么程度需要人工介入。
先学什么?
先在一个你非常了解的模型上做一次漂移检查。把文档里讲漂移方法的部分读透,直到能自己讲清 1000 条观测这条规则。然后再加上通过/失败条件,像上面的代码那样放进 CI。
LLM 相关的部分可以放到后面。需要时,Evidently 的 Tracely 库可以从运行中的应用采集数据,文档认为追踪最适合由 LLM 驱动的应用。
求职时如何体现这项技能?
阅读 FDE 招聘信息时,留意 post-deployment model monitoring(部署后模型监控)、data quality(数据质量)、regression testing(回归测试)或在生产环境中运行 LLM 系统这类表述。它们说明公司需要的是在演示之后还能守着系统的人,而不只是做原型的人。
最好的证明是一个小型公开仓库。找一个公开数据集,切出一部分作为参考数据,故意让其余数据中的几列发生偏移,再让 GitHub Actions 运行检查,并在该失败的时候失败。README 要写清你为什么选这个阈值,以及告警发给谁。
在简历上,像“为生产环境模型在 CI 中搭建漂移检查,并为客户团队编写阈值说明文档”这样的一行,远比罗列一串工具名称有分量。如果有项目中的真实数据,比如监控的特征数量或检查运行频率,也写进去。
面试时,准备一个测试失败的故事:是什么信号触发了告警,你检查了什么来区分无害的漂移和模型真正出错,以及你如何与业务团队商定新的阈值。
好的交接并不意味着模型永远不出问题,而是数据一旦变化,客户团队能比他们的用户先知道。
这篇文章对你有帮助吗?
感谢你的反馈!