# 大模型变差了，git log 却一片空白

> 锁定版本、度量漂移、重跑评测，用数字抢先预警客户；质量下降未必是供应商换了模型。

原文: https://fdetimes.net/zh/guides/detect-llm-model-drift-before-customers/

设想一个周二早上。一家物流客户发来消息：“这周发票识别系统错得多了很多。”你打开 git log：三周没有提交，提示词没改，schema 也没改。

这时你已经慢了一拍：客户比你先发现问题，而你手上没有任何数字可以回应。

要练的本领可以归结为三件环环相扣的事：锁定版本、度量漂移、重跑评测。做到位了，先给客户发消息的就是你，而且附带数字。

## 代码没动，系统照样会变

相关证据早已有之。Chen、Zaharia 和 Zou 对比了 2023 年 3 月和 6 月版本的 GPT-3.5 与 GPT-4，结论是：“同一个”LLM 服务的行为可能在短时间内发生显著变化，LLM 需要持续监控。

OpenAI 的文档说得更直接：LLM 的输出本质上是非确定性的，模型行为在不同快照之间、不同模型系列之间都会变化。但质量下降并不都源于模型变化。Anthropic 在 2025 年 9 月发布的事后复盘中确认，三个基础设施 bug 曾间歇性地拉低 Claude 的回复质量。

所以，“供应商换了模型”通常只是假设，而不是诊断。要尽早验证它，需要一只金丝雀（canary）。

这个词原本指先把变更推给一小部分用户，再扩展到整个基础设施。这里借用它来指一个小规模测试集：全天定期运行，在客户察觉故障之前发出警报。

把三种情况分开，就能看清什么时候金丝雀够用，什么时候还需要别的手段：

| 发生了什么 | 锁定版本有用吗？ | 如何发现 |
|---|---|---|
| 通用名称（别名，alias）开始指向新快照 | 有用，因为模型变更从此掌握在自己手里 | 尚未锁定时靠金丝雀；升级已锁定版本时，每次变更都跑评测 |
| 某个模型即将退役 | 只在退役日期之前有用 | 留意通知、清点用量、尽早测试替代模型 |
| 供应商侧的基础设施 bug | 没用，因为模型周边的基础设施仍可能变化 | 在生产环境定期运行金丝雀 |

## 锁定版本是第一步，不是护盾

先区分两类模型名称。在 Anthropic 的文档中，快照（snapshot）是固定的模型版本本身；而 `claude-sonnet-4-5` 这样的别名只是一个便捷名称，指向该小版本最新日期的快照。

因此，成本最低的做法是：如果供应商提供固定快照名，就用它调用模型，并且只在一个配置文件里保存这个名称。规则很简单：只要行为变化会逼你去排查，就锁定。从此每一次模型变更都是一次有人负责的提交，而不是在看不见的地方悄悄发生。

**要点:** 锁定版本锁住的是模型名称，而不是你拿到的质量。

Anthropic 自己也讲明了这个局限：每个 ID 在整个生命周期内对应同一个底层模型，但模型周边的服务基础设施仍可能随时间变化。当一个稳定 ID 突然产出异常结果时，该公司也把基础设施视为最可能的原因。

锁定的版本还有保质期。Anthropic 承诺在退役公开发布的模型前至少提前 60 天通知，所以要尽早用替代模型在自己的任务上测试应用。

60 天听起来很长，放到真实项目里却不算多。如果客户每 30 天才允许发布一次，你大约只有两次机会，而第一次应该用来发现问题，而不是完成修复。换成其他供应商，要去读它们的政策，不要默认这个数字同样适用。

收到通知后的第一件事，是按 API key 和模型清点用量。要找的是那个夜间任务，或者团队里已经没人记得的那个 API key。

## 实例：200 张发票

回到那家物流客户。取 200 张真实发票，因为评测只有贴近客户每天发来的内容才有意义。把它们分成两组：50 张难以辨认的扫描件，150 张清晰的 PDF。逐字段打分，比如编号、日期和总金额，因为对非确定性输出做精确字符串匹配会不停地误报。

最难的是标准答案，而且不该由你一个人敲定。请客户那边负责对账的人逐字段确认；如果客户有会计系统，先从系统里预填再交给他们审核会更快。两个人对同一案例理解不一致时，交给业务负责人裁定，然后把规则写下来。

度量漂移之前，必须知道分数正常会波动多少，总分和每个分组都要知道。用同一个锁定版本把整个测试集跑三遍。假设得到 186、188 和 190 个正确案例；其中扫描件分别为 45、46 和 47，清晰 PDF 分别为 141、142 和 143。

用最低分减去波动范围，就得到阈值。总分波动 4 个案例，阈值为 182；扫描件和清晰 PDF 各波动 2 个案例，阈值分别为 43 和 139。只有分数跌到阈值以下才告警。

假设今天早上金丝雀报警，200 个案例的测试集自动重跑。结果是 176 个正确，相对 188 的基线从 94% 降到 88%。代码没有变化，而且这个数字超出了正常波动，所以这是真实信号。

只有分组来看，才知道问题出在哪：扫描件从 46/50 降到 36/50，低于阈值 43；清晰 PDF 从 142/150 降到 140/150，仍高于阈值 139。

再看一个更难的场景：扫描件降到 40/50，清晰 PDF 保持在 142。总分为 182，恰好等于阈值而没有跌破，只看总分就什么也发现不了。所以每个分组都需要自己的阈值：

```python
# 模型名称、案例数和阈值仅作示意
PINNED_MODEL = "vendor-model-2025-06-01"

BASE_RUNS = {
    "total": [186, 188, 190],
    "scan": [45, 46, 47],
    "pdf": [141, 142, 143],
}

def threshold(runs):
    return min(runs) - (max(runs) - min(runs))

def check(base_runs, today):
    return [name for name, runs in base_runs.items()
            if today[name] < threshold(runs)]

check(BASE_RUNS, {"total": 182, "scan": 40, "pdf": 142})  # ["scan"]
```

在这个场景中，`check` 只返回扫描件分组，因为 40 低于 43，而总分并没有触发告警。跑三遍只能粗略估计波动，对 50 个案例的分组尤其如此，所以条件允许就多跑几遍；某个分组告警后，先重跑确认，再通知任何人。

这个公式也不是通用规则。问问客户哪个分组出错时损失最大，把那里的阈值设得更紧。

## 评测集必须跑在生产环境上

只存在于 notebook 里的评测集，不会自己报警。Anthropic 那次事后复盘最有价值的教训是：公司自己的评测没有发现用户反馈的质量下降，而补救措施之一就是在真实生产系统上持续运行评测。

供应商的评测衡量的不是你客户的任务，所以替代不了你自己的评测。而且故障是间歇性出现的，每周跑一次很容易错过。

所以要建两层。快速层是约 30 个覆盖所有分组的案例组成的金丝雀，每天跑几次，走与生产环境相同的 API key、网关和提示词；它的阈值要用这个测试集单独测量，因为小样本波动更大。

完整层是 200 个案例的测试集，每晚自动运行，金丝雀一告警也立即运行，用来确认信号，并指出受影响的是哪个分组。按照 OpenAI 的建议，它在每次变更时也要运行，作为任何提示词或模型变更之前的自动化回归测试。

告警触发后，先逐个打开失败案例，再对任何人开口。如果在同一个锁定版本上、代码没变而分数下降，就把可复现的案例发给供应商；如果客户同意，在此期间把受影响的分组转给人工审核。

给客户的消息要有数字，也要有行动：“自今天上午 9 点起，自动检查显示扫描发票 50 个案例中正确 36 个，此前为 50 个中正确 46 个；清晰 PDF 未受影响。部署团队建议在排查期间将扫描件转为人工审核，并将在下午 2 点向您同步进展。”

## 让你失去先机的三个错误

第一个要避免的错误，是急于断定模型本身变了。在 2025 年那次事件中，Anthropic 把原因归于基础设施 bug，而不是有意的模型变更。所以当时猜“模型被换了”的人猜错了，尽管问题确实出在供应商那边。

不管你遇到的原因是什么，客户需要的是可复现的案例，而不是假设。

第二个错误，是用自己团队编的整齐示例搭评测集，然后再也不动。客户数据会随时间变化，所以客户每报告一次错误，就把那个案例加进测试集。

第三个错误，是交接之后金丝雀没人负责。没人接收的告警等于没有告警，最先发现问题的又会是客户。

## 面试时问什么，简历上写什么

阅读前线部署工程师（FDE）的职位描述时，留意 regression eval、model upgrade 和 production monitoring 这类词。不管描述里有没有提到，面试时都可以问：他们最近一次模型变更是怎么做的，第一个故障是谁发现的。

简历上写一行带具体数字的经历，而不只是罗列工具。比如，如果符合你的实际情况：“用客户数据构建了 200 个案例的评测集，并配合生产环境金丝雀，在客户报告之前发现回归问题”。

本周练习：从你的某个项目中取 30 个真实输入，自己写好答案，在同一个快照上跑三遍并记录波动。然后换一个快照再跑，看差异是否超出这个波动。下次有人问“模型是不是变了？”，你可以用数字回答，而不是凭感觉。

**本周动手试试:**

- 找出代码和配置中所有写了模型名称的地方，集中到一个文件里，并写清锁定的版本。
- 如果供应商提供，按 API key 和模型导出用量数据，与退役时间表对照，找出仍在调用旧版本的任务。
- 在交接文档里加一行：谁负责金丝雀，谁接收告警，谁通知客户。

## 信源

- [Model IDs and versioning](https://platform.claude.com/docs/en/about-claude/models/model-ids-and-versions)

- [What Is the Difference Between a Model Alias and a Versioned Model ID?](https://www.vincentschmalbach.com/model-alias-vs-versioned-model-id/)

- [How is ChatGPT's behavior changing over time?](https://arxiv.org/abs/2307.09009)

- [A postmortem of three recent issues](https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues)

- [Model optimization – OpenAI API docs](https://developers.openai.com/api/docs/guides/model-optimization)

- [Evaluation best practices – OpenAI API docs](https://developers.openai.com/api/docs/guides/evaluation-best-practices)

- [Model deprecations](https://platform.claude.com/docs/en/about-claude/model-deprecations)

- [Canary Release](https://www.martinfowler.com/bliki/CanaryRelease.html)
