FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Z 分数可能漏掉过热轴承,中位数不会

训练模型之前,先用中位数和 MAD 建一条基线,客户工程师离了你也能检查、调整和运行。

分享微博

要点速览

  • 基于均值和标准差的 Z 分数很容易被异常值本身带偏,小样本时尤其如此。中位数和 MAD 稳健得多。
  • 要在生产环境运行,基线还需要四样东西:偏移窗口、最小样本数、静态兜底阈值,以及季节性处理。
  • 异常不一定是故障。通知客户之前,先补充上下文。
横向条形图,比较十个轴承温度读数中 85°C 这个值的得分。普通 Z 分数为 2.82,低于阈值 3,该值未被标记;用中位数和 MAD 计算的修正 Z 分数为 31.7,是阈值 3.5 的九倍。
十个读数时,普通 Z 分数永远越不过阈值 3,修正 Z 分数则立刻标出 85°C 这个值。来源:文中示例计算,依据 NIST 引用的 Iglewicz 和 Hoaglin 建议。

设想你在客户工厂的第一周。运维班长发来一份 CSV,里面是二十台泵的轴承温度,问你:“你们团队能做 AI 异常检测吗?”这时很容易当场打开 notebook,试一试孤立森林或自编码器。

先别急。客户第一个月需要的,是一条他们的工程师能理解、能检查、在你不在时能自己调整的规则。统计基线三条都满足。它还能给你一把尺子,日后用来证明更复杂的模型确实更好。

对前线部署工程师(FDE)来说,这是非常实用的技能。大多数物联网(IoT)、基础设施监控和数据质量项目,都从“这正常吗?”这个问题开始。谁能用十行代码和一个讲得清楚的阈值回答它,谁就能更早赢得客户信任。

为什么均值和标准差会误导你

Grafana Labs 介绍自己如何在 Prometheus 上构建异常检测时提到,他们一开始用的是几乎人人首先想到的公式:均值加减若干倍标准差构成的区间,也就是 Z 分数的一种变体。数据充足且干净时,这个公式管用。客户的传感器数据很少如此。

NIST 的统计手册提醒,普通 Z 分数可能产生误导,小样本时尤其如此,因为 Z 值能达到的上限受样本量限制。

原因在于,异常值会同时抬高均值和标准差,从而把自己藏起来。NIST 转而引用 Iglewicz 和 Hoaglin 的建议:使用修正 Z 分数,用中位数和 MAD(各值与中位数绝对偏差的中位数)计算。

公式是 M = 0.6745 × (x − median) / MAD。Iglewicz 和 Hoaglin 建议,把 |M| 大于 3.5 的点标记为“潜在离群值”。

用十个读数手算一遍

假设某个轴承上报了十个温度读数(°C):61、62、60、63、61、62、61、60、62、85。谁都看得出 85 有问题,关键是公式能不能看出来。

先算普通 Z 分数。总和为 637,均值为 63.7。样本标准差约为 7.54,所以 85 的 Z 值为 21.3 / 7.54 ≈ 2.82。按常用的阈值 3,这个点漏了过去。而且它永远不可能超过 3:10 个点时,Z 的最大可能值只有约 2.85,正是 NIST 所说的上限。

再用中位数和 MAD。排序后为 60、60、61、61、61、62、62、62、63、85,中位数为 61.5。绝对偏差中有六个 0.5、三个 1.5 和一个 23.5,所以 MAD 为 0.5。

85 的 M = 0.6745 × 23.5 / 0.5 ≈ 31.7,是阈值 3.5 的九倍。63 的 M ≈ 2.02,不会被标记,这是对的。

客户问你为什么选中位数时,一句话就够:单个离群值既拉不动中位数,也撑不大 MAD,所以没法像在均值和标准差里那样把自己藏起来。

从手算到可在生产环境运行的基线

十个点的计算还算不上系统。一旦持续运行,你会碰到四个问题。OneUptime 在介绍动态阈值的文章中描述了前三个;第四个是 Grafana 构建 Prometheus 基线时不得不单独处理的。

第一个问题:故障会渗进它自己的基线。OneUptime 建议把基线窗口偏移一小时,因为最近一小时最可能包含正在发生的故障。

用七天窗口时,几十分钟的升温几乎动不了中位数。但如果为了反应更快把窗口缩到几小时,故障数据会占满大半个窗口,把中位数一起拉高,标记就会迟到,甚至不触发。

第二个问题是冷启动。同一来源指出,一台只有一小时数据的新主机,不可能有可信的七天基线。刚安装或刚更换的传感器也一样,所以要先设定最小样本数,达到后才信任基线。

第三个问题由此而来:样本不足的设备,告警依据是什么?OneUptime 建议,为还没有基线历史的资源保留一个静态兜底阈值。在工厂里,自然的选择是厂商数据手册上的最高温度。

第四个问题是季节性。Grafana 说,这是他们最后不得不单独处理的情况,因为简单的滚动区间不够用。

他们选择了一小时窗口,实验表明这是短期异常检测的合适平衡点。为了平滑区间,他们用了 26 小时,而不是常见的 24 小时,给用户多留一些余量。

在工厂里,季节性通常跟着班次走。白班泵高负荷运转,夜班休息,所以一个简单做法是为一天中的每个时段分别计算基线。看数据之前先向班长要一份生产排班表,能省下一周时间。

import pandas as pd

def flag_anomalies(df, window="7D", offset="1h",
                   min_points=500, static_max=90.0, cutoff=3.5):
    s = df.set_index("ts")["temp_c"].sort_index()
    hist = s.shift(freq=offset)  # 基线看不到最近一小时
    med = hist.rolling(window, min_periods=min_points).median()
    mad = (hist - med).abs().rolling(window, min_periods=min_points).median()
    med = med.reindex(s.index, method="ffill")
    mad = mad.reindex(s.index, method="ffill")
    m = 0.6745 * (s - med) / mad.where(mad > 0)
    has_baseline = med.notna() & mad.gt(0)
    flag = (m.abs() > cutoff) & has_baseline
    fallback = (~has_baseline) & (s > static_max)  # 冷启动
    return pd.DataFrame({"temp_c": s, "m": m, "flag": flag | fallback})

这里的滚动 MAD 只是近似值,但做基线足够了。注意 mad > 0 这一行:按整数度取整的传感器,在设备空闲的时段 MAD 常常为零,除以零会把整个上午都标成异常。

标记亮了,要不要给客户打电话?

Grafana 说得很直白:单凭异常本身,还不足以说明有东西坏了。轴承到了 85°C,可能是轴承快要失效,也可能只是刚跑完一次计划内的管道冲洗。

所以异常标记只是一个输入;告警还需要更多上下文:设备是否在运行?相邻传感器是否也在升温?标记是否持续了好几个周期?

和客户开会时,说“系统发现了一个远离正常水平的点”,而不是“系统检测到了故障”。差别听起来很小,却决定了客户会不会在第二周之后把你的告警频道静音。

最常见的错误

最常见的错误,是在寥寥几个点上用均值和标准差,然后得出“数据没有异常”的结论。其次是让基线窗口一直延伸到当前时刻,让故障带偏它自己的基线。再次是忘了冷启动,导致客户每换一次传感器,就来一波误报。

最后一类错误出在人身上。有人无视班次排班,把每天早上 6 点的每次开机都标成异常。也有人把每个标记都直接作为消息推给客户。这两种做法摧毁信任的速度,比任何糟糕的模型都快。

把这项技能变成面试优势

阅读 FDE 岗位描述时,留意“industrial data”“observability”“time series”或“IoT”这类字眼。构建基线的技能正是在这些岗位上用得到,值得准备一个具体案例,面试时展开讲。

简历上不要写“构建了异常检测模型”。要写清楚你选了什么阈值、为什么;如何处理冷启动和季节性;以及如何度量前后的误报数量。

机器学习模型仍有用武之地,但前提是基线已经跑起来,你手里有可以对比的数字。一个连中位数和 MAD 都赢不了的模型,还不配进客户的工厂。

这篇文章对你有帮助吗?

3 个信源
路线图上的下一篇 · 阶段 6: 价值度量大模型变差了,git log 却一片空白锁定版本、度量漂移、重跑评测,用数字抢先预警客户;质量下降未必是供应商换了模型。