FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

大模型变差了,git log 却一片空白

锁定版本、度量漂移、重跑评测,用数字抢先预警客户;质量下降未必是供应商换了模型。

分享微博

要点速览

  • 锁定版本是第一步,但挡不住供应商的基础设施 bug,也挡不住模型的退役日期。
  • 设阈值之前,先测出总分和每个数据分组的正常波动,因为总分可能掩盖某个正在失效的分组。
  • 供应商的评测替代不了自己的评测:要在真实的生产系统上定期运行金丝雀。
两张刻度相同的斜率图,每条坐标轴跨度为 20 个案例。扫描件从 50 个中正确 46 个降到 36 个,低于阈值 43;清晰 PDF 从 150 个中正确 142 个降到 140 个,仍高于阈值 139。
只有分组来看,才能发现问题:扫描件跌破阈值,清晰 PDF 仍在阈值之上。两条坐标轴刻度相同,且都不从 0 开始。来源:文中 200 张发票的假设示例。

设想一个周二早上。一家物流客户发来消息:“这周发票识别系统错得多了很多。”你打开 git log:三周没有提交,提示词没改,schema 也没改。

这时你已经慢了一拍:客户比你先发现问题,而你手上没有任何数字可以回应。

要练的本领可以归结为三件环环相扣的事:锁定版本、度量漂移、重跑评测。做到位了,先给客户发消息的就是你,而且附带数字。

代码没动,系统照样会变

相关证据早已有之。Chen、Zaharia 和 Zou 对比了 2023 年 3 月和 6 月版本的 GPT-3.5 与 GPT-4,结论是:“同一个”LLM 服务的行为可能在短时间内发生显著变化,LLM 需要持续监控。

OpenAI 的文档说得更直接:LLM 的输出本质上是非确定性的,模型行为在不同快照之间、不同模型系列之间都会变化。但质量下降并不都源于模型变化。Anthropic 在 2025 年 9 月发布的事后复盘中确认,三个基础设施 bug 曾间歇性地拉低 Claude 的回复质量。

所以,“供应商换了模型”通常只是假设,而不是诊断。要尽早验证它,需要一只金丝雀(canary)。

这个词原本指先把变更推给一小部分用户,再扩展到整个基础设施。这里借用它来指一个小规模测试集:全天定期运行,在客户察觉故障之前发出警报。

把三种情况分开,就能看清什么时候金丝雀够用,什么时候还需要别的手段:

发生了什么 锁定版本有用吗? 如何发现
通用名称(别名,alias)开始指向新快照 有用,因为模型变更从此掌握在自己手里 尚未锁定时靠金丝雀;升级已锁定版本时,每次变更都跑评测
某个模型即将退役 只在退役日期之前有用 留意通知、清点用量、尽早测试替代模型
供应商侧的基础设施 bug 没用,因为模型周边的基础设施仍可能变化 在生产环境定期运行金丝雀

锁定版本是第一步,不是护盾

先区分两类模型名称。在 Anthropic 的文档中,快照(snapshot)是固定的模型版本本身;而 claude-sonnet-4-5 这样的别名只是一个便捷名称,指向该小版本最新日期的快照。

因此,成本最低的做法是:如果供应商提供固定快照名,就用它调用模型,并且只在一个配置文件里保存这个名称。规则很简单:只要行为变化会逼你去排查,就锁定。从此每一次模型变更都是一次有人负责的提交,而不是在看不见的地方悄悄发生。

Anthropic 自己也讲明了这个局限:每个 ID 在整个生命周期内对应同一个底层模型,但模型周边的服务基础设施仍可能随时间变化。当一个稳定 ID 突然产出异常结果时,该公司也把基础设施视为最可能的原因。

锁定的版本还有保质期。Anthropic 承诺在退役公开发布的模型前至少提前 60 天通知,所以要尽早用替代模型在自己的任务上测试应用。

60 天听起来很长,放到真实项目里却不算多。如果客户每 30 天才允许发布一次,你大约只有两次机会,而第一次应该用来发现问题,而不是完成修复。换成其他供应商,要去读它们的政策,不要默认这个数字同样适用。

收到通知后的第一件事,是按 API key 和模型清点用量。要找的是那个夜间任务,或者团队里已经没人记得的那个 API key。

实例:200 张发票

回到那家物流客户。取 200 张真实发票,因为评测只有贴近客户每天发来的内容才有意义。把它们分成两组:50 张难以辨认的扫描件,150 张清晰的 PDF。逐字段打分,比如编号、日期和总金额,因为对非确定性输出做精确字符串匹配会不停地误报。

最难的是标准答案,而且不该由你一个人敲定。请客户那边负责对账的人逐字段确认;如果客户有会计系统,先从系统里预填再交给他们审核会更快。两个人对同一案例理解不一致时,交给业务负责人裁定,然后把规则写下来。

度量漂移之前,必须知道分数正常会波动多少,总分和每个分组都要知道。用同一个锁定版本把整个测试集跑三遍。假设得到 186、188 和 190 个正确案例;其中扫描件分别为 45、46 和 47,清晰 PDF 分别为 141、142 和 143。

用最低分减去波动范围,就得到阈值。总分波动 4 个案例,阈值为 182;扫描件和清晰 PDF 各波动 2 个案例,阈值分别为 43 和 139。只有分数跌到阈值以下才告警。

假设今天早上金丝雀报警,200 个案例的测试集自动重跑。结果是 176 个正确,相对 188 的基线从 94% 降到 88%。代码没有变化,而且这个数字超出了正常波动,所以这是真实信号。

只有分组来看,才知道问题出在哪:扫描件从 46/50 降到 36/50,低于阈值 43;清晰 PDF 从 142/150 降到 140/150,仍高于阈值 139。

再看一个更难的场景:扫描件降到 40/50,清晰 PDF 保持在 142。总分为 182,恰好等于阈值而没有跌破,只看总分就什么也发现不了。所以每个分组都需要自己的阈值:

# 模型名称、案例数和阈值仅作示意
PINNED_MODEL = "vendor-model-2025-06-01"

BASE_RUNS = {
    "total": [186, 188, 190],
    "scan": [45, 46, 47],
    "pdf": [141, 142, 143],
}

def threshold(runs):
    return min(runs) - (max(runs) - min(runs))

def check(base_runs, today):
    return [name for name, runs in base_runs.items()
            if today[name] < threshold(runs)]

check(BASE_RUNS, {"total": 182, "scan": 40, "pdf": 142})  # ["scan"]

在这个场景中,check 只返回扫描件分组,因为 40 低于 43,而总分并没有触发告警。跑三遍只能粗略估计波动,对 50 个案例的分组尤其如此,所以条件允许就多跑几遍;某个分组告警后,先重跑确认,再通知任何人。

这个公式也不是通用规则。问问客户哪个分组出错时损失最大,把那里的阈值设得更紧。

评测集必须跑在生产环境上

只存在于 notebook 里的评测集,不会自己报警。Anthropic 那次事后复盘最有价值的教训是:公司自己的评测没有发现用户反馈的质量下降,而补救措施之一就是在真实生产系统上持续运行评测。

供应商的评测衡量的不是你客户的任务,所以替代不了你自己的评测。而且故障是间歇性出现的,每周跑一次很容易错过。

所以要建两层。快速层是约 30 个覆盖所有分组的案例组成的金丝雀,每天跑几次,走与生产环境相同的 API key、网关和提示词;它的阈值要用这个测试集单独测量,因为小样本波动更大。

完整层是 200 个案例的测试集,每晚自动运行,金丝雀一告警也立即运行,用来确认信号,并指出受影响的是哪个分组。按照 OpenAI 的建议,它在每次变更时也要运行,作为任何提示词或模型变更之前的自动化回归测试。

告警触发后,先逐个打开失败案例,再对任何人开口。如果在同一个锁定版本上、代码没变而分数下降,就把可复现的案例发给供应商;如果客户同意,在此期间把受影响的分组转给人工审核。

给客户的消息要有数字,也要有行动:“自今天上午 9 点起,自动检查显示扫描发票 50 个案例中正确 36 个,此前为 50 个中正确 46 个;清晰 PDF 未受影响。部署团队建议在排查期间将扫描件转为人工审核,并将在下午 2 点向您同步进展。”

让你失去先机的三个错误

第一个要避免的错误,是急于断定模型本身变了。在 2025 年那次事件中,Anthropic 把原因归于基础设施 bug,而不是有意的模型变更。所以当时猜“模型被换了”的人猜错了,尽管问题确实出在供应商那边。

不管你遇到的原因是什么,客户需要的是可复现的案例,而不是假设。

第二个错误,是用自己团队编的整齐示例搭评测集,然后再也不动。客户数据会随时间变化,所以客户每报告一次错误,就把那个案例加进测试集。

第三个错误,是交接之后金丝雀没人负责。没人接收的告警等于没有告警,最先发现问题的又会是客户。

面试时问什么,简历上写什么

阅读前线部署工程师(FDE)的职位描述时,留意 regression eval、model upgrade 和 production monitoring 这类词。不管描述里有没有提到,面试时都可以问:他们最近一次模型变更是怎么做的,第一个故障是谁发现的。

简历上写一行带具体数字的经历,而不只是罗列工具。比如,如果符合你的实际情况:“用客户数据构建了 200 个案例的评测集,并配合生产环境金丝雀,在客户报告之前发现回归问题”。

本周练习:从你的某个项目中取 30 个真实输入,自己写好答案,在同一个快照上跑三遍并记录波动。然后换一个快照再跑,看差异是否超出这个波动。下次有人问“模型是不是变了?”,你可以用数字回答,而不是凭感觉。

这篇文章对你有帮助吗?

8 个信源
路线图上的下一篇 · 阶段 6: 价值度量评测标注一致率 80%,可能说明不了什么用 Cohen's kappa 扣除偶然一致后,这个数字降到 0.375,而这项检查只需几分钟。