FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

模型返回 HTTP 200,却在悄悄出错

用 Evidently、Prometheus 和 Grafana 看清哪个特征从哪天开始漂移,赶在客户追问之前。

分享微博

要点速览

  • 因漂移而失效的模型不会抛出任何错误,必须自己度量数据分布,再把这个数字接入监控系统。
  • Evidently 计算漂移分数并通过独立端点暴露,Prometheus 定期通过 HTTP 拉取指标,Grafana 绘制仪表盘并在超过阈值时告警。
  • 漂移分数必须用 Gauge,不能用 Counter;告警阈值也必须基于真实数据校准,不能照搬教程。
流程图:8000 端口上的 serve.py 暴露预测次数 Counter 和延迟 Histogram;8001 端口上的 drift_job.py 每小时运行一次,暴露 20 个特征漂移分数的 Gauge。Prometheus 以 15 秒的 scrape_interval 通过 HTTP 拉取指标,Grafana 用 PromQL 把每个特征的漂移分数画成阶梯线。其中一条漂移线跳过虚线阈值,触发邮件、Slack 或短信告警。注:阈值取自数周基线数据的 p99,而不是照搬教程的 0.026。
两个 Python 进程在不同端口暴露指标,Prometheus 拉取数据,Grafana 绘制漂移分数,并在某个特征越过基于客户自身数据得出的阈值时发出告警。

一个欺诈评分模型可以在几毫秒内返回结果,每个请求都回 HTTP 200,日志里一行错误都没有,但结果依然可能是错的。当生产数据已明显偏离训练数据,也就是发生数据漂移时,模型自己无从察觉,也没有任何东西可报。

只有专门度量数据分布的系统才会发现。

对前线部署工程师(FDE)来说,这是日常工作的一部分。你把模型部署到客户的基础设施上,几周后有人问:“模型最近怎么这么差?”如果你已经有一个仪表盘,能看出哪个特征从哪天开始偏移,就能用数据回答;如果没有,只能靠猜。

本文用三个工具搭建这样一套系统:Evidently 负责采集和计算指标,Prometheus 负责存储,Grafana 负责展示和告警。

要搭建什么,需要准备什么

最终结果是两个 Python 进程。模型服务通过一个 HTTP 端点暴露预测次数和延迟指标;一个定时运行的漂移任务通过第二个端点暴露漂移分数。

Prometheus 定期访问这两个端点拉取数据,Grafana 有一个面板绘制每个特征漂移分数随时间的变化,分数越过阈值时你会收到告警。

你需要 Python 3、一个训练好的模型(任意 scikit-learn 分类器即可),以及本地安装或在容器中运行的 Prometheus 和 Grafana。还需要一份参考数据集,通常就是模型的训练数据。没有它,就没有比较的对象。

写代码之前,有一个架构要点值得先弄清楚。Prometheus 采用基于 HTTP 的拉取模式收集时间序列:每个进程只需在某个端点上暴露指标,由 Prometheus 主动来取。因此你不需要写任何推送指标的代码。

第 1 步:为每个问题选对指标类型

Prometheus 提供用于给应用代码埋点的客户端库,而模型服务本身就是一个应用。监控模型需要回答三个问题,每个问题对应一种指标类型。

问题 指标类型 原因
模型返回了多少次预测? Counter 只会单调递增,适合计数
推理耗时多久? Histogram 把每次观测计入可配置的分桶
数据漂移有多大? Gauge 数值可以自由升降

前两个问题在模型服务内部回答。下面是使用 Python 客户端库的最小示例。不同版本的函数名可能不同,请对照你所安装版本的文档。

# serve.py — 示例;API 请对照客户端库文档核实
from prometheus_client import Counter, Histogram, start_http_server

PREDICTIONS = Counter("predictions_total", "已返回的预测次数")
LATENCY = Histogram("inference_seconds", "推理耗时")

start_http_server(8000)

def predict(x):
    with LATENCY.time():
        y = model.predict(x)
    PREDICTIONS.inc()
    return y

**检查:**向 predict 函数发几个请求,然后在浏览器中打开 localhost:8000/metrics。应该能看到 predictions_total 随每个请求递增,以及 inference_seconds 的各个分桶行。

第 2 步:在带独立端点的进程中批量计算漂移

漂移是分布的属性,而单个请求没有分布。按照 Evidently 描述的架构,Evidently 读取模型日志,把近期数据与参考集比较,再暴露一个端点供 Prometheus 采集。

“独立端点”这个细节比看上去重要。Gauge 存在于创建它的进程内存中,运行在另一个进程中的定时任务无法写入模型服务的 Gauge。因此漂移任务必须自己创建 Gauge,并在另一个端口(这里是 8001)上暴露自己的指标。

也可以把漂移计算作为模型服务内部的后台线程运行,但把它分开能避免繁重的计算拖慢推理。

# drift_job.py — 伪代码。compute_drift() 代指 Evidently 的 Data Drift Report;
# Evidently 的 API 在不同版本间会变化,请查阅最新文档。
from prometheus_client import Gauge, start_http_server

DRIFT = Gauge("feature_drift_score", "各特征的漂移分数", ["feature"])
start_http_server(8001)

while True:
    current_window = load_recent_prediction_log()   # 读取模型服务的日志
    for feature in FEATURES:
        score = compute_drift(reference[feature], current_window[feature])
        DRIFT.labels(feature=feature).set(score)
    sleep_until_next_run()                          # 例如每小时一次

设想一个有 20 个特征的欺诈模型。每个特征是同一个 Gauge 上的一个标签值,于是得到 20 条时间序列。Evidently 指出,这个 Data Drift 示例同样适用于它的其他 Report,因此之后可以加入数据质量指标,而无需改动架构。

**检查:**首次运行后,localhost:8001/metrics 应包含 20 行 feature_drift_score{feature="..."},每行都带有数值。

第 3 步:配置 Prometheus 拉取指标

在配置文件中,scrape_interval 决定 Prometheus 拉取指标的频率。由于有两个进程,需要声明两个目标。下面的文件经过精简,仅作示意。

# prometheus.yml(精简版)
global:
  scrape_interval: 15s
scrape_configs:
  - job_name: "fraud-model"
    static_configs:
      - targets: ["localhost:8000"]
  - job_name: "drift-monitor"
    static_configs:
      - targets: ["localhost:8001"]

简单算一下。间隔为 15 秒时,每条时间序列每小时收到 240 个样本。但如果漂移任务每小时只运行一次,其中 239 个样本都是重复值。这没有错,但看图时要明白:漂移曲线是按任务的运行周期阶梯式变化的,而不是按抓取间隔。

用这个文件启动 Prometheus(适合你所用版本的命令见 Getting Started 页面),打开 Web 界面,输入最简单的 PromQL 查询,即指标名 feature_drift_score。

**检查:**targets 页面应显示 fraud-model 和 drift-monitor 均为 up。如果少了一个任务,原因通常是端口写错或进程没有运行。

第 4 步:在 Grafana 中搭建面板和告警

在 Grafana 中把 Prometheus 添加为数据源,新建一个时间序列面板,使用查询 feature_drift_score。每个特征各成一条曲线。客户问“模型是不是出问题了?”时,你打开的就是这张图。

接下来是告警。Grafana 支持按自定义阈值通过邮件、Slack 或短信告警。DataCamp 的教程使用 0.026 作为阈值,即漂移分数超过该值时系统发出告警。试验时可以写这样的条件:feature_drift_score > 0.026。

**检查:**取测试数据,把某个特征的值翻倍,送入当前数据窗口。该特征的曲线应当跳升,告警也应出现在你配置的渠道中。

合适的阈值来自客户自己的数据

稳妥的做法是在模型表现良好时,让系统以只观察模式运行几周,再根据这些数据设定阈值。假设漂移任务每小时运行一次,持续 4 周:每个特征得到 4 × 7 × 24 = 672 个基线点。

把这 672 个点排序,取第 99 百分位。672 的 1% 是 6.72,所以这个值大约落在第七高的点上。假设它是 0.04:意味着在 99% 的正常时段里,漂移分数都没有超过 0.04。

阈值可以设得略高一些,比如 0.05,让只有真正异常的偏移才触发告警。这里的数字是假设的,但方法适用于真实数据。

对每个重要特征分别计算,因为有些特征天然比其他特征波动更大。在 PromQL 中可以对基线时段使用 quantile_over_time。使用前请在 Prometheus 文档中核对语法。

让监控系统形同虚设的几个错误

第一,用 Counter 记录漂移分数。Counter 只增不减,漂移下降时指标无法反映,图表就会误导你。任何表示“当前状态”的值,比如漂移分数或准确率,都必须用 Gauge。

第二,直接照搬教程里的阈值。阈值太低会让客户的 Slack 被告警淹没,一周后就没人再看。上面的百分位计算只需几行代码,却能避免这个问题。

第三,用取值非常多的维度做标签,比如客户 ID。和第 2 步一样,每个标签值都会产生一条独立的时间序列:20 个特征是 20 条可读的曲线,而按用户打标签会让时间序列数量随用户数增长。

标签只用取值少且已知的维度,添加新标签前先仔细阅读 Prometheus 文档。

最后一个很少有人注意:参考集已经与生产环境中的模型不匹配,因为模型重新训练过,参考集却没有更新。

这项技能在客户工作中的位置

在客户工作中,最难的部分通常不是代码。你需要和业务方坐下来,就三件事达成一致:哪些特征重要到值得单独告警,告警发给谁,告警触发后下一步做什么。没有后续动作,仪表盘只是摆设。

所以在与客户的第一次会议上,先问清他们用的是 Prometheus、Grafana 还是其他监控系统。把模型指标接入他们已有的基础设施,通常比提议一套新技术栈容易被接受得多。

阅读 FDE 或 MLOps 岗位描述时,留意“model monitoring”“observability”或“drift detection”等字眼。在简历上,“搭建了 Prometheus 和 Grafana”说明不了什么;“对 20 个特征做漂移检测,通过 Slack 告警,阈值取自基线数据的第 99 百分位”则能让招聘方看出你理解这个问题。

每个部署上线的模型迟早都会出问题。区别在于,你是在数据刚开始偏移时就从告警中得知,还是等客户打电话来告诉你。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量只调一个阈值,不重新训练,信用模型亏损收窄在scikit-learn示例中,给每类错误定准价格后,收益从-209升至-143;客户关心的是这笔代价,而非AUC。