# 温度设为 0，同一提示词跑 1000 次出了 80 种答案

> 配置完全相同的两次运行，准确率最多相差 15%，只跑一次评测就决定保留还是回滚，比的可能只是噪声。

原文: https://fdetimes.net/zh/guides/llm-nondeterminism-repeated-evals/

设想这样一个场景：周四，客户问了一个看似简单的问题——新提示词比旧的好吗？你跑了一遍 200 道题的评测集。旧提示词得分 84%，新提示词 80%，你正准备在报告里写下“回滚”。然后你用完全相同的配置、温度 0，把旧提示词重跑一次，这次只得了 81%。

问题不在你的代码。Thinking Machines 说得很直白：实际使用中，即使温度设为 0，LLM API 仍然不是确定性的。对前线部署工程师（FDE）来说，这意味着任何基于单次评测做出的“保留还是放弃”的决定，可能都只是噪声。

## 一个提示词，1000 次运行，80 种答案

Thinking Machines 的实验很简单：以温度 0 把同一个提示词发给 Qwen3-235B 1000 次。结果出现了 80 种不同的补全，最常见的一种只出现了 78 次。所有输出的前 102 个 token 完全相同，从第 103 个 token 开始分叉。

算一下：1000 次里出现 78 次，就是 7.8%。如果把某个“标准”输出当作参考答案、用精确匹配来判分，超过 92% 的运行都对不上，而你这边什么都没改。

你可能以为，只问简答题的评测集会安全一些。未必。arXiv 上的一项研究（2408.04667）在 8 个常见任务上测试了 5 个配置为确定性的 LLM，每种配置运行 10 次，覆盖零样本和少样本两种设置。

结果是：在没有任何干预的普通运行之间，准确率最多相差 15%，没有一个模型能稳定复现准确率。漂移的不只是输出的措辞，还有你准备写进报告的准确率数字。

## 为什么温度 0 救不了你？

常见的解释是：“GPU 并行计算，浮点加法没有固定顺序，所以结果会漂移。”Simon Willison 在总结 Thinking Machines 那篇文章时强调，这个假设并不是主要原因。

真正的元凶在你的请求之外。服务器负载决定了 kernel 运行时的批大小，负载的变化无法预测，而计算结果又取决于批大小。Thinking Machines 把这称为缺乏批不变性（batch invariance），而不是请求之间相互泄露信息。

由此不难理解 token 层面发生了什么：极小的数值偏差，就足以让两个概率几乎相等的 token 交换排名；句子中间一个 token 不同，就会把后面整段回答带向另一个方向。这正是 80 种补全共享前 102 个 token、随后分道扬镳的原因。

根本的解决办法是批不变的 kernel：Thinking Machines 随文发布的代码，能让 Qwen3-8B 在 vLLM 上确定性地运行。但这只能在基础设施层面完成。

如果客户自己托管模型，这是一个值得向推理团队提出的问题。如果你调用的是外部 API，就把非确定性当作既定事实，围绕它来设计评测。

## Seed 和 fingerprint：有用，但只是“尽力而为”

很多工程师以为设置了 `seed` 就万事大吉。OpenAI Cookbook 的措辞很谨慎：系统会“尽力而为”（best effort）地进行确定性采样。Azure OpenAI 文档说得更明确：即使多次调用的 seed 和 `system_fingerprint` 都一致，返回不同响应的情况也并不少见。

`system_fingerprint` 仍然值得记录。根据 OpenAI Cookbook，它代表模型运行所在的后端配置，应与 seed 配合使用，用来发现可能影响确定性的后端变更。

Azure 还给出了另外两条与评测相关的提醒。默认情况下，同一个问题问几次，很可能得到不同答案，因此要想复现，必须同时固定 seed 以及温度、`max_tokens` 等参数。另外，`max_tokens` 越大，响应的确定性越低。

Indeed Engineering 更进一步指出：模型自身输出的方差，可能超过评测数据抽样带来的方差。换句话说，来自模型的噪声，可能比“恰好选中了哪 200 道题”带来的噪声还要大。

**要点:** 一次评测运行只是一个样本，不是分数；要报告区间。

## 示例：搭建重复运行的评测框架

回到周四。这次不再让每个提示词只跑一次，而是每个跑五次，并把所有信息记录下来。下面的代码使用 OpenAI Python SDK；`grade` 是你的判分函数，答对返回 1，答错返回 0。

```python
import statistics
from collections import Counter

def run_eval(client, cases, model, n_runs=5):
    scores, fingerprints = [], Counter()
    for _ in range(n_runs):
        correct = 0
        for case in cases:
            r = client.chat.completions.create(
                model=model,
                temperature=0,
                seed=42,
                messages=case["messages"],
                max_tokens=case.get("max_tokens", 256),
            )
            # 记录 fingerprint，检查运行过程中后端是否发生变化
            fingerprints[r.system_fingerprint] += 1
            correct += case["grade"](r.choices[0].message.content)
        scores.append(correct / len(cases))
    return {
        "mean": statistics.mean(scores),
        "min": min(scores),
        "max": max(scores),
        "fingerprints": dict(fingerprints),
    }
```

假设结果是：旧提示词在 79% 到 85% 之间，新提示词在 78% 到 84% 之间。两个区间几乎完全重叠。对客户诚实的回答是“目前没有检测到差异”，而不是“回滚”。

再设想相反的情况：新提示词在 88% 到 91% 之间，最低分仍高于旧提示词的最高分。这时你才有了证据。

为什么不只跑一次省时间？arXiv 上另一项研究（2509.24086）表明，基于单次运行的排行榜很脆弱：与三次运行的多数结果相比，12 个切片中有 10 个至少翻转了一组两两排名。作者建议，使用随机解码时至少重复 2 次。

比较五次运行的最小—最大区间，仍然只是一条粗略的经验法则。如果想更有把握，Indeed Engineering 指出，每个输入对应多个输出会形成聚类数据，所以计算置信区间时，应按输入做 bootstrap：把每道题连同它的所有运行结果一起重采样，而不是把所有输出混在一起。

如果 `fingerprints` 一栏在同一批运行中出现了两个不同的值，先按 fingerprint 拆分结果再下结论，因为你比较的可能是两个后端，而不是两个提示词。

## 在你自己的项目上试一试

先测量基线噪声：在配置不变的情况下，把现有评测集跑五遍。得到的最小—最大区间就是你的“噪声底线”，任何小于它的差异都不应作为改进来汇报。

接着，为每次调用记录 `system_fingerprint`、模型、seed 和 `max_tokens`。当客户问这周的分数为什么和上周不一样时，你能拿数据回答，而不是靠猜。

然后检查判分方式。输出较长时，精确字符串匹配几乎必然失效；可以让模型返回结构化字段，按字段判分，或者按评分标准判分，而不是逐字比对。

## 最常见的错误

最常见的错误是拿两次单独运行做比较并得出结论。arXiv 2408.04667 测得的差异最高达 15%，单次运行得到的 4 个百分点差距说明不了任何问题。

其次是相信 `seed` 加温度 0 就能保证可复现。服务商自己只承诺“尽力而为”，Azure 文档也明确说输出仍可能不同。

最难发现的，是为长输出编写快照式回归测试。这些测试会随机失败，客户团队会逐渐学会忽略它们，等到真正的 bug 出现时，没有人会注意到。

## 一项值得写进简历的技能

如果面试官问“你怎么知道新提示词更好？”，不要只回答“评测分数更高”。要用流程来回答：重复运行、逐条对比、相同的 fingerprint、报告区间。这样的回答说明你理解自己的数据。

在简历上，“搭建了评测框架，可报告多次运行的方差，并通过 system_fingerprint 追踪后端变更”这样一句话，远比“具备 LLM 评测经验”具体。当岗位描述提到评测或可复现性时，就把这个例子带进求职信和面试。

客户需要的不是一个漂亮的数字，而是知道这个数字到下周四是否依然成立。

**本周动手试试:**

- 拿出你现在使用的评测集，用完全相同的配置重跑 5 次，记录最小值、最大值和平均值。
- 在评测管道中每次 API 调用的日志里增加一列 system_fingerprint。
- 把针对长输出的精确匹配断言，替换为按评分标准判分或提取结构化字段判分。

## 信源

- [Non-Determinism of "Deterministic" LLM Settings](https://arxiv.org/abs/2408.04667)

- [Defeating Nondeterminism in LLM Inference](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/)

- [Defeating Nondeterminism in LLM Inference](https://simonwillison.net/2025/Sep/11/defeating-nondeterminism)

- [How to make your completions outputs reproducible with the new seed parameter](https://developers.openai.com/cookbook/examples/reproducible_outputs_with_the_seed_parameter)

- [How to generate reproducible output with Azure OpenAI in Microsoft Foundry Models (classic)](https://learn.microsoft.com/en-us/azure/ai-foundry/openai/how-to/reproducible-output)

- [Do Repetitions Matter? Strengthening Reliability in LLM Evaluations](https://arxiv.org/html/2509.24086v1)

- [Bootstrap Confidence Intervals for LLM Evaluation](https://engineering.indeedblog.com/blog/2026/07/bootstrap-confidence-intervals-for-llm-evaluation/)
