温度设为 0,同一提示词跑 1000 次出了 80 种答案
配置完全相同的两次运行,准确率最多相差 15%,只跑一次评测就决定保留还是回滚,比的可能只是噪声。
要点速览
- Thinking Machines 在 Qwen3-235B 上以温度 0 把同一提示词运行 1000 次,得到 80 种不同输出。
- 主要原因是服务器负载改变了批大小;seed 只承诺“尽力而为”。
- 一项研究测得,普通运行之间的准确率最多相差 15%,因此单次评测得出的分数并不可靠。
设想这样一个场景:周四,客户问了一个看似简单的问题——新提示词比旧的好吗?你跑了一遍 200 道题的评测集。旧提示词得分 84%,新提示词 80%,你正准备在报告里写下“回滚”。然后你用完全相同的配置、温度 0,把旧提示词重跑一次,这次只得了 81%。
问题不在你的代码。Thinking Machines 说得很直白:实际使用中,即使温度设为 0,LLM API 仍然不是确定性的。对前线部署工程师(FDE)来说,这意味着任何基于单次评测做出的“保留还是放弃”的决定,可能都只是噪声。
一个提示词,1000 次运行,80 种答案
Thinking Machines 的实验很简单:以温度 0 把同一个提示词发给 Qwen3-235B 1000 次。结果出现了 80 种不同的补全,最常见的一种只出现了 78 次。所有输出的前 102 个 token 完全相同,从第 103 个 token 开始分叉。
算一下:1000 次里出现 78 次,就是 7.8%。如果把某个“标准”输出当作参考答案、用精确匹配来判分,超过 92% 的运行都对不上,而你这边什么都没改。
你可能以为,只问简答题的评测集会安全一些。未必。arXiv 上的一项研究(2408.04667)在 8 个常见任务上测试了 5 个配置为确定性的 LLM,每种配置运行 10 次,覆盖零样本和少样本两种设置。
结果是:在没有任何干预的普通运行之间,准确率最多相差 15%,没有一个模型能稳定复现准确率。漂移的不只是输出的措辞,还有你准备写进报告的准确率数字。
为什么温度 0 救不了你?
常见的解释是:“GPU 并行计算,浮点加法没有固定顺序,所以结果会漂移。”Simon Willison 在总结 Thinking Machines 那篇文章时强调,这个假设并不是主要原因。
真正的元凶在你的请求之外。服务器负载决定了 kernel 运行时的批大小,负载的变化无法预测,而计算结果又取决于批大小。Thinking Machines 把这称为缺乏批不变性(batch invariance),而不是请求之间相互泄露信息。
由此不难理解 token 层面发生了什么:极小的数值偏差,就足以让两个概率几乎相等的 token 交换排名;句子中间一个 token 不同,就会把后面整段回答带向另一个方向。这正是 80 种补全共享前 102 个 token、随后分道扬镳的原因。
根本的解决办法是批不变的 kernel:Thinking Machines 随文发布的代码,能让 Qwen3-8B 在 vLLM 上确定性地运行。但这只能在基础设施层面完成。
如果客户自己托管模型,这是一个值得向推理团队提出的问题。如果你调用的是外部 API,就把非确定性当作既定事实,围绕它来设计评测。
Seed 和 fingerprint:有用,但只是“尽力而为”
很多工程师以为设置了 seed 就万事大吉。OpenAI Cookbook 的措辞很谨慎:系统会“尽力而为”(best effort)地进行确定性采样。Azure OpenAI 文档说得更明确:即使多次调用的 seed 和 system_fingerprint 都一致,返回不同响应的情况也并不少见。
system_fingerprint 仍然值得记录。根据 OpenAI Cookbook,它代表模型运行所在的后端配置,应与 seed 配合使用,用来发现可能影响确定性的后端变更。
Azure 还给出了另外两条与评测相关的提醒。默认情况下,同一个问题问几次,很可能得到不同答案,因此要想复现,必须同时固定 seed 以及温度、max_tokens 等参数。另外,max_tokens 越大,响应的确定性越低。
Indeed Engineering 更进一步指出:模型自身输出的方差,可能超过评测数据抽样带来的方差。换句话说,来自模型的噪声,可能比“恰好选中了哪 200 道题”带来的噪声还要大。
示例:搭建重复运行的评测框架
回到周四。这次不再让每个提示词只跑一次,而是每个跑五次,并把所有信息记录下来。下面的代码使用 OpenAI Python SDK;grade 是你的判分函数,答对返回 1,答错返回 0。
import statistics
from collections import Counter
def run_eval(client, cases, model, n_runs=5):
scores, fingerprints = [], Counter()
for _ in range(n_runs):
correct = 0
for case in cases:
r = client.chat.completions.create(
model=model,
temperature=0,
seed=42,
messages=case["messages"],
max_tokens=case.get("max_tokens", 256),
)
# 记录 fingerprint,检查运行过程中后端是否发生变化
fingerprints[r.system_fingerprint] += 1
correct += case["grade"](r.choices[0].message.content)
scores.append(correct / len(cases))
return {
"mean": statistics.mean(scores),
"min": min(scores),
"max": max(scores),
"fingerprints": dict(fingerprints),
}
假设结果是:旧提示词在 79% 到 85% 之间,新提示词在 78% 到 84% 之间。两个区间几乎完全重叠。对客户诚实的回答是“目前没有检测到差异”,而不是“回滚”。
再设想相反的情况:新提示词在 88% 到 91% 之间,最低分仍高于旧提示词的最高分。这时你才有了证据。
为什么不只跑一次省时间?arXiv 上另一项研究(2509.24086)表明,基于单次运行的排行榜很脆弱:与三次运行的多数结果相比,12 个切片中有 10 个至少翻转了一组两两排名。作者建议,使用随机解码时至少重复 2 次。
比较五次运行的最小—最大区间,仍然只是一条粗略的经验法则。如果想更有把握,Indeed Engineering 指出,每个输入对应多个输出会形成聚类数据,所以计算置信区间时,应按输入做 bootstrap:把每道题连同它的所有运行结果一起重采样,而不是把所有输出混在一起。
如果 fingerprints 一栏在同一批运行中出现了两个不同的值,先按 fingerprint 拆分结果再下结论,因为你比较的可能是两个后端,而不是两个提示词。
在你自己的项目上试一试
先测量基线噪声:在配置不变的情况下,把现有评测集跑五遍。得到的最小—最大区间就是你的“噪声底线”,任何小于它的差异都不应作为改进来汇报。
接着,为每次调用记录 system_fingerprint、模型、seed 和 max_tokens。当客户问这周的分数为什么和上周不一样时,你能拿数据回答,而不是靠猜。
然后检查判分方式。输出较长时,精确字符串匹配几乎必然失效;可以让模型返回结构化字段,按字段判分,或者按评分标准判分,而不是逐字比对。
最常见的错误
最常见的错误是拿两次单独运行做比较并得出结论。arXiv 2408.04667 测得的差异最高达 15%,单次运行得到的 4 个百分点差距说明不了任何问题。
其次是相信 seed 加温度 0 就能保证可复现。服务商自己只承诺“尽力而为”,Azure 文档也明确说输出仍可能不同。
最难发现的,是为长输出编写快照式回归测试。这些测试会随机失败,客户团队会逐渐学会忽略它们,等到真正的 bug 出现时,没有人会注意到。
一项值得写进简历的技能
如果面试官问“你怎么知道新提示词更好?”,不要只回答“评测分数更高”。要用流程来回答:重复运行、逐条对比、相同的 fingerprint、报告区间。这样的回答说明你理解自己的数据。
在简历上,“搭建了评测框架,可报告多次运行的方差,并通过 system_fingerprint 追踪后端变更”这样一句话,远比“具备 LLM 评测经验”具体。当岗位描述提到评测或可复现性时,就把这个例子带进求职信和面试。
客户需要的不是一个漂亮的数字,而是知道这个数字到下周四是否依然成立。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Non-Determinism of "Deterministic" LLM Settings · 2024-08-06
- Defeating Nondeterminism in LLM Inference · 2025-09-10
- Defeating Nondeterminism in LLM Inference · 2025-09-11
- How to make your completions outputs reproducible with the new seed parameter
- How to generate reproducible output with Azure OpenAI in Microsoft Foundry Models (classic) · 2025-11-26
- Do Repetitions Matter? Strengthening Reliability in LLM Evaluations · 2025-09-28
- Bootstrap Confidence Intervals for LLM Evaluation · 2026-07-08