# 模型返回 HTTP 200，却在悄悄出错

> 用 Evidently、Prometheus 和 Grafana 看清哪个特征从哪天开始漂移，赶在客户追问之前。

原文: https://fdetimes.net/zh/guides/detect-data-drift-prometheus-grafana/

一个欺诈评分模型可以在几毫秒内返回结果，每个请求都回 HTTP 200，日志里一行错误都没有，但结果依然可能是错的。当生产数据已明显偏离训练数据，也就是发生数据漂移时，模型自己无从察觉，也没有任何东西可报。

只有专门度量数据分布的系统才会发现。

对前线部署工程师（FDE）来说，这是日常工作的一部分。你把模型部署到客户的基础设施上，几周后有人问：“模型最近怎么这么差？”如果你已经有一个仪表盘，能看出哪个特征从哪天开始偏移，就能用数据回答；如果没有，只能靠猜。

本文用三个工具搭建这样一套系统：Evidently 负责采集和计算指标，Prometheus 负责存储，Grafana 负责展示和告警。

## 要搭建什么，需要准备什么

最终结果是两个 Python 进程。模型服务通过一个 HTTP 端点暴露预测次数和延迟指标；一个定时运行的漂移任务通过第二个端点暴露漂移分数。

Prometheus 定期访问这两个端点拉取数据，Grafana 有一个面板绘制每个特征漂移分数随时间的变化，分数越过阈值时你会收到告警。

你需要 Python 3、一个训练好的模型（任意 scikit-learn 分类器即可），以及本地安装或在容器中运行的 Prometheus 和 Grafana。还需要一份参考数据集，通常就是模型的训练数据。没有它，就没有比较的对象。

写代码之前，有一个架构要点值得先弄清楚。Prometheus 采用基于 HTTP 的拉取模式收集时间序列：每个进程只需在某个端点上暴露指标，由 Prometheus 主动来取。因此你不需要写任何推送指标的代码。

## 第 1 步：为每个问题选对指标类型

Prometheus 提供用于给应用代码埋点的客户端库，而模型服务本身就是一个应用。监控模型需要回答三个问题，每个问题对应一种指标类型。

| 问题 | 指标类型 | 原因 |
|---|---|---|
| 模型返回了多少次预测？ | Counter | 只会单调递增，适合计数 |
| 推理耗时多久？ | Histogram | 把每次观测计入可配置的分桶 |
| 数据漂移有多大？ | Gauge | 数值可以自由升降 |

前两个问题在模型服务内部回答。下面是使用 Python 客户端库的最小示例。不同版本的函数名可能不同，请对照你所安装版本的文档。

```python
# serve.py — 示例；API 请对照客户端库文档核实
from prometheus_client import Counter, Histogram, start_http_server

PREDICTIONS = Counter("predictions_total", "已返回的预测次数")
LATENCY = Histogram("inference_seconds", "推理耗时")

start_http_server(8000)

def predict(x):
    with LATENCY.time():
        y = model.predict(x)
    PREDICTIONS.inc()
    return y
```

**检查：**向 predict 函数发几个请求，然后在浏览器中打开 `localhost:8000/metrics`。应该能看到 `predictions_total` 随每个请求递增，以及 `inference_seconds` 的各个分桶行。

## 第 2 步：在带独立端点的进程中批量计算漂移

漂移是分布的属性，而单个请求没有分布。按照 Evidently 描述的架构，Evidently 读取模型日志，把近期数据与参考集比较，再暴露一个端点供 Prometheus 采集。

“独立端点”这个细节比看上去重要。Gauge 存在于创建它的进程内存中，运行在另一个进程中的定时任务无法写入模型服务的 Gauge。因此漂移任务必须自己创建 Gauge，并在另一个端口（这里是 8001）上暴露自己的指标。

也可以把漂移计算作为模型服务内部的后台线程运行，但把它分开能避免繁重的计算拖慢推理。

```python
# drift_job.py — 伪代码。compute_drift() 代指 Evidently 的 Data Drift Report；
# Evidently 的 API 在不同版本间会变化，请查阅最新文档。
from prometheus_client import Gauge, start_http_server

DRIFT = Gauge("feature_drift_score", "各特征的漂移分数", ["feature"])
start_http_server(8001)

while True:
    current_window = load_recent_prediction_log()   # 读取模型服务的日志
    for feature in FEATURES:
        score = compute_drift(reference[feature], current_window[feature])
        DRIFT.labels(feature=feature).set(score)
    sleep_until_next_run()                          # 例如每小时一次
```

设想一个有 20 个特征的欺诈模型。每个特征是同一个 Gauge 上的一个标签值，于是得到 20 条时间序列。Evidently 指出，这个 Data Drift 示例同样适用于它的其他 Report，因此之后可以加入数据质量指标，而无需改动架构。

**检查：**首次运行后，`localhost:8001/metrics` 应包含 20 行 `feature_drift_score{feature="..."}`，每行都带有数值。

## 第 3 步：配置 Prometheus 拉取指标

在配置文件中，`scrape_interval` 决定 Prometheus 拉取指标的频率。由于有两个进程，需要声明两个目标。下面的文件经过精简，仅作示意。

```yaml
# prometheus.yml（精简版）
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: "fraud-model"
    static_configs:
      - targets: ["localhost:8000"]
  - job_name: "drift-monitor"
    static_configs:
      - targets: ["localhost:8001"]
```

简单算一下。间隔为 15 秒时，每条时间序列每小时收到 240 个样本。但如果漂移任务每小时只运行一次，其中 239 个样本都是重复值。这没有错，但看图时要明白：漂移曲线是按任务的运行周期阶梯式变化的，而不是按抓取间隔。

用这个文件启动 Prometheus（适合你所用版本的命令见 Getting Started 页面），打开 Web 界面，输入最简单的 PromQL 查询，即指标名 `feature_drift_score`。

**检查：**targets 页面应显示 `fraud-model` 和 `drift-monitor` 均为 up。如果少了一个任务，原因通常是端口写错或进程没有运行。

## 第 4 步：在 Grafana 中搭建面板和告警

在 Grafana 中把 Prometheus 添加为数据源，新建一个时间序列面板，使用查询 `feature_drift_score`。每个特征各成一条曲线。客户问“模型是不是出问题了？”时，你打开的就是这张图。

接下来是告警。Grafana 支持按自定义阈值通过邮件、Slack 或短信告警。DataCamp 的教程使用 0.026 作为阈值，即漂移分数超过该值时系统发出告警。试验时可以写这样的条件：`feature_drift_score > 0.026`。

**检查：**取测试数据，把某个特征的值翻倍，送入当前数据窗口。该特征的曲线应当跳升，告警也应出现在你配置的渠道中。

**要点:** 0.026 只是用来学习如何搭建告警的示例，并不是适合客户数据的阈值。

## 合适的阈值来自客户自己的数据

稳妥的做法是在模型表现良好时，让系统以只观察模式运行几周，再根据这些数据设定阈值。假设漂移任务每小时运行一次，持续 4 周：每个特征得到 4 × 7 × 24 = 672 个基线点。

把这 672 个点排序，取第 99 百分位。672 的 1% 是 6.72，所以这个值大约落在第七高的点上。假设它是 0.04：意味着在 99% 的正常时段里，漂移分数都没有超过 0.04。

阈值可以设得略高一些，比如 0.05，让只有真正异常的偏移才触发告警。这里的数字是假设的，但方法适用于真实数据。

对每个重要特征分别计算，因为有些特征天然比其他特征波动更大。在 PromQL 中可以对基线时段使用 `quantile_over_time`。使用前请在 Prometheus 文档中核对语法。

## 让监控系统形同虚设的几个错误

第一，用 Counter 记录漂移分数。Counter 只增不减，漂移下降时指标无法反映，图表就会误导你。任何表示“当前状态”的值，比如漂移分数或准确率，都必须用 Gauge。

第二，直接照搬教程里的阈值。阈值太低会让客户的 Slack 被告警淹没，一周后就没人再看。上面的百分位计算只需几行代码，却能避免这个问题。

第三，用取值非常多的维度做标签，比如客户 ID。和第 2 步一样，每个标签值都会产生一条独立的时间序列：20 个特征是 20 条可读的曲线，而按用户打标签会让时间序列数量随用户数增长。

标签只用取值少且已知的维度，添加新标签前先仔细阅读 Prometheus 文档。

最后一个很少有人注意：参考集已经与生产环境中的模型不匹配，因为模型重新训练过，参考集却没有更新。

## 这项技能在客户工作中的位置

在客户工作中，最难的部分通常不是代码。你需要和业务方坐下来，就三件事达成一致：哪些特征重要到值得单独告警，告警发给谁，告警触发后下一步做什么。没有后续动作，仪表盘只是摆设。

所以在与客户的第一次会议上，先问清他们用的是 Prometheus、Grafana 还是其他监控系统。把模型指标接入他们已有的基础设施，通常比提议一套新技术栈容易被接受得多。

阅读 FDE 或 MLOps 岗位描述时，留意“model monitoring”“observability”或“drift detection”等字眼。在简历上，“搭建了 Prometheus 和 Grafana”说明不了什么；“对 20 个特征做漂移检测，通过 Slack 告警，阈值取自基线数据的第 99 百分位”则能让招聘方看出你理解这个问题。

每个部署上线的模型迟早都会出问题。区别在于，你是在数据刚开始偏移时就从告警中得知，还是等客户打电话来告诉你。

**本周动手试试:**

- 拿一个现成的 scikit-learn 模型，封装成带 /metrics 端点的服务，用 Counter 记录预测次数、Histogram 记录延迟；再单独写一个漂移任务，在第二个端点上用 Gauge 暴露各特征的漂移分数。
- 取测试数据，故意让某个特征的分布发生偏移（例如把金额翻倍），观察 Grafana 面板和告警是否触发。
- 写一份简短的 README，说明告警阈值取自基线数据的哪个百分位，并把仓库链接写进简历的 MLOps 项目部分。

## 信源

- [Prometheus Overview](https://prometheus.io/docs/introduction/overview/)

- [Getting Started with Prometheus](https://prometheus.io/docs/tutorials/getting_started/)

- [Metric types | Prometheus](https://prometheus.io/docs/concepts/metric_types/)

- [Evidently and Grafana: ML monitoring live dashboards](https://evidentlyai.com/blog/evidently-and-grafana-ml-monitoring-live-dashboards)

- [Grafana Tutorial: Monitoring Machine Learning Models (DataCamp)](https://www.datacamp.com/tutorial/grafana-tutorial-monitoring-machine-learning-models)
