# 发现数据漂移，先选对模型表现良好的那个月

> Evidently 拿参考数据集比对生产数据，基线一偏，告警全偏；你离场后，工具归客户团队接手。

原文: https://fdetimes.net/zh/tools/evidently-ai-data-drift-checks/

离开客户三个月后，评分模型仍在运行，也没有报任何错误，但输入数据已经变了。模型察觉不到。通常是业务团队先发现问题：数字开始看起来不对劲。

Evidently 正是为了填补这个空白。它是一个用于评估、测试和监控 ML 与 LLM 系统的开源 Python 库，采用 Apache 2.0 许可证发布。

对前线部署工程师（FDE）来说，这个许可证带来的好处非常实际。直接装进客户环境的 Apache 2.0 库，通常比一个需要签合同的新服务更容易通过法务审查。你离开后，留下的也是客户团队自己就能运行的工具。

## 一切度量都从基线开始

这个包内置 100 多个指标，从数据漂移检测到 LLM 评审都有，并提供声明式测试 API。文档列出的主要用例中，就包括表格数据质量检查和数据漂移检查。

核心逻辑很简单：把当前的生产数据和参考数据集做比较。Fuzzy Labs 的 MLOps 工程师 Oscar Wong 把参考数据集描述为用来对比的基准。2020 年发布 Evidently 0.0.1 版本的博客文章建议，选取模型表现稳定时期的数据。

所以在客户那里，第一个问题不是“这个库怎么装”，而是“模型在哪个月的表现符合你们的预期”。基线偏了，后面每一条告警都会跟着偏。

## 漂移阈值取决于参考数据有多少

Evidently 并非所有情况都用同一种漂移度量。默认方法由参考数据集的大小决定，这也是交接时最容易引起困惑的地方。

参考数据集不超过 1000 条观测时，Evidently 使用 KS、卡方或 Z-score 等统计检验。漂移分数是 p 值，默认置信水平为 0.95，因此 p ≤ 0.05 的列都视为发生了漂移。

参考数据集更大时，工具会改用 Wasserstein 或 Jensen-Shannon 等距离指标，默认阈值为 0.1。

举个例子。你交接一个有 12 个特征的贷款审批模型，参考数据集是 800 行验证数据。因为 800 没有超过 1000，每一列都用统计检验来检查。

假设之后参考数据集换成了上一季度的 5000 行数据。度量方式随之切换为距离指标，阈值 0.1，同一批生产数据就可能得出不同的结果。如果文档没有记下这一点，接手的人不会明白告警为什么突然变多或变少。

数据集级漂移也不是固定的默认值，而是由你来声明。文档中的示例规定，50% 的列发生漂移时，整个数据集视为漂移。12 个特征按这条规则，只要 6 列漂移，整个数据集就会被标记。

要问问客户：这 6 列是否同等重要？收入列的漂移，可能比五个次要列加起来还值得担心。

## 从报告到检查关口

报告只有被人打开才有用。因此下一步应该是声明式测试 API：写下通过/失败条件，漂移检查就成了 CI 里一个会失败的步骤，和单元测试一样。

下面的代码是针对上文 12 个特征贷款模型的最小示意。

```python
# 示意代码，未针对特定版本验证：
# 类名（Report、Dataset、DataDefinition、DriftedColumnsCount、lt）
# 以及结果结构（result["tests"]、"status"）在不同 Evidently 版本中
# 可能有所不同。用于真实数据管道之前，请查阅所安装版本的文档。
import sys
import pandas as pd
from evidently import Report, Dataset, DataDefinition
from evidently.presets import DataDriftPreset
from evidently.metrics import DriftedColumnsCount
from evidently.tests import lt

reference = pd.read_parquet("validation_800_rows.parquet")
current = pd.read_parquet("production_last_batch.parquet")

definition = DataDefinition()
ref = Dataset.from_pandas(reference, data_definition=definition)
cur = Dataset.from_pandas(current, data_definition=definition)

# 1. 报告：只做度量和汇总，导出 HTML 给业务团队
report = Report([DataDriftPreset()])
report.run(current_data=cur, reference_data=ref).save_html("drift_report.html")

# 2. 测试：同样的度量，加上通过/失败条件
#    lt(6)：12 列中有 6 列（50%）或更多发生漂移时判定失败
suite = Report([DriftedColumnsCount(tests=[lt(6)])])
result = suite.run(current_data=cur, reference_data=ref).dict()

# 3. CI 关口：任何测试未通过就中止流水线
failed = [t for t in result["tests"] if t["status"] != "SUCCESS"]
if failed:
    print(failed)
    sys.exit(1)
```

报告和测试读取的是同一份数据，但面向不同的人。HTML 文件给业务团队看。非零退出码会让 CI 停下并发出告警，即使没人记得去打开报告。

Evidently 的监控文档建议定时运行批量检查，按小时或按天，也可以在新数据或新标签到达时触发。对于贷款模型，每来一批新申请就运行一次检查，才能赶在客户从结果中看出问题之前发现漂移。

**要点:** 漂移告警只有在有人知道阈值为何这样设定时才有价值。

## 工具替你做不了的事

漂移说明数据分布变了，并不说明模型预测错了。某个特征可能发生偏移，而预测质量依然稳定；反过来也可能发生。所以不要向客户承诺“没有漂移”就等于“模型依然可靠”。

0.95 和 0.1 这两个阈值只是默认值，不是真理。把它们当作起点，和业务团队商定变化到什么程度需要人工介入。

## 先学什么？

先在一个你非常了解的模型上做一次漂移检查。把文档里讲漂移方法的部分读透，直到能自己讲清 1000 条观测这条规则。然后再加上通过/失败条件，像上面的代码那样放进 CI。

LLM 相关的部分可以放到后面。需要时，Evidently 的 Tracely 库可以从运行中的应用采集数据，文档认为追踪最适合由 LLM 驱动的应用。

## 求职时如何体现这项技能？

阅读 FDE 招聘信息时，留意 post-deployment model monitoring（部署后模型监控）、data quality（数据质量）、regression testing（回归测试）或在生产环境中运行 LLM 系统这类表述。它们说明公司需要的是在演示之后还能守着系统的人，而不只是做原型的人。

最好的证明是一个小型公开仓库。找一个公开数据集，切出一部分作为参考数据，故意让其余数据中的几列发生偏移，再让 GitHub Actions 运行检查，并在该失败的时候失败。README 要写清你为什么选这个阈值，以及告警发给谁。

在简历上，像“为生产环境模型在 CI 中搭建漂移检查，并为客户团队编写阈值说明文档”这样的一行，远比罗列一串工具名称有分量。如果有项目中的真实数据，比如监控的特征数量或检查运行频率，也写进去。

面试时，准备一个测试失败的故事：是什么信号触发了告警，你检查了什么来区分无害的漂移和模型真正出错，以及你如何与业务团队商定新的阈值。

好的交接并不意味着模型永远不出问题，而是数据一旦变化，客户团队能比他们的用户先知道。

**本周动手试试:**

- 选一个你交接过的模型，从它表现稳定的时期选取参考数据集，对最新一批生产数据运行漂移检查，并把报告发给客户团队
- 为数据集级漂移声明一个通过/失败条件，并作为 CI 流水线中的一个步骤运行
- 在交接文档中记录参考数据集有多少行、对应哪种方法和阈值，以及测试失败时由谁接收告警

## 信源

- [GitHub - evidentlyai/evidently](https://github.com/evidentlyai/evidently)

- [Evidently AI - Open-source AI Evaluation and Observability](https://www.evidentlyai.com/)

- [evidently · PyPI](https://pypi.org/project/evidently/)

- [What is Evidently?](https://docs.evidentlyai.com/introduction)

- [Data drift](https://docs.evidentlyai.com/metrics/explainer_drift)

- [Overview](https://docs.evidentlyai.com/docs/platform/monitoring_overview)

- [Data Drift Monitoring with Evidently](https://www.fuzzylabs.ai/blog-post/data-drift-monitoring-with-evidently)

- [Introducing Evidently 0.0.1 Release: Open-Source Tool To Analyze Data Drift](https://www.evidentlyai.com/blog/evidently-001-open-source-tool-to-analyze-data-drift)
