FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

温度设为 0,同一提示词跑 1000 次出了 80 种答案

配置完全相同的两次运行,准确率最多相差 15%,只跑一次评测就决定保留还是回滚,比的可能只是噪声。

分享微博

要点速览

  • Thinking Machines 在 Qwen3-235B 上以温度 0 把同一提示词运行 1000 次,得到 80 种不同输出。
  • 主要原因是服务器负载改变了批大小;seed 只承诺“尽力而为”。
  • 一项研究测得,普通运行之间的准确率最多相差 15%,因此单次评测得出的分数并不可靠。
醒目的橙色大数字 80:以温度 0 把同一提示词发给 Qwen3-235B 1000 次,得到 80 种不同补全;输出前 102 个 token 相同,从第 103 个 token 开始分叉。下方的横条代表 1000 次运行,阴影部分是最常见答案对应的 78 次,占 7.8%。
即使温度为 0,最常见的答案也只占 1000 次运行中的 78 次。来源:Thinking Machines 基于 Qwen3-235B 的实验。

设想这样一个场景:周四,客户问了一个看似简单的问题——新提示词比旧的好吗?你跑了一遍 200 道题的评测集。旧提示词得分 84%,新提示词 80%,你正准备在报告里写下“回滚”。然后你用完全相同的配置、温度 0,把旧提示词重跑一次,这次只得了 81%。

问题不在你的代码。Thinking Machines 说得很直白:实际使用中,即使温度设为 0,LLM API 仍然不是确定性的。对前线部署工程师(FDE)来说,这意味着任何基于单次评测做出的“保留还是放弃”的决定,可能都只是噪声。

一个提示词,1000 次运行,80 种答案

Thinking Machines 的实验很简单:以温度 0 把同一个提示词发给 Qwen3-235B 1000 次。结果出现了 80 种不同的补全,最常见的一种只出现了 78 次。所有输出的前 102 个 token 完全相同,从第 103 个 token 开始分叉。

算一下:1000 次里出现 78 次,就是 7.8%。如果把某个“标准”输出当作参考答案、用精确匹配来判分,超过 92% 的运行都对不上,而你这边什么都没改。

你可能以为,只问简答题的评测集会安全一些。未必。arXiv 上的一项研究(2408.04667)在 8 个常见任务上测试了 5 个配置为确定性的 LLM,每种配置运行 10 次,覆盖零样本和少样本两种设置。

结果是:在没有任何干预的普通运行之间,准确率最多相差 15%,没有一个模型能稳定复现准确率。漂移的不只是输出的措辞,还有你准备写进报告的准确率数字。

为什么温度 0 救不了你?

常见的解释是:“GPU 并行计算,浮点加法没有固定顺序,所以结果会漂移。”Simon Willison 在总结 Thinking Machines 那篇文章时强调,这个假设并不是主要原因。

真正的元凶在你的请求之外。服务器负载决定了 kernel 运行时的批大小,负载的变化无法预测,而计算结果又取决于批大小。Thinking Machines 把这称为缺乏批不变性(batch invariance),而不是请求之间相互泄露信息。

由此不难理解 token 层面发生了什么:极小的数值偏差,就足以让两个概率几乎相等的 token 交换排名;句子中间一个 token 不同,就会把后面整段回答带向另一个方向。这正是 80 种补全共享前 102 个 token、随后分道扬镳的原因。

根本的解决办法是批不变的 kernel:Thinking Machines 随文发布的代码,能让 Qwen3-8B 在 vLLM 上确定性地运行。但这只能在基础设施层面完成。

如果客户自己托管模型,这是一个值得向推理团队提出的问题。如果你调用的是外部 API,就把非确定性当作既定事实,围绕它来设计评测。

Seed 和 fingerprint:有用,但只是“尽力而为”

很多工程师以为设置了 seed 就万事大吉。OpenAI Cookbook 的措辞很谨慎:系统会“尽力而为”(best effort)地进行确定性采样。Azure OpenAI 文档说得更明确:即使多次调用的 seed 和 system_fingerprint 都一致,返回不同响应的情况也并不少见。

system_fingerprint 仍然值得记录。根据 OpenAI Cookbook,它代表模型运行所在的后端配置,应与 seed 配合使用,用来发现可能影响确定性的后端变更。

Azure 还给出了另外两条与评测相关的提醒。默认情况下,同一个问题问几次,很可能得到不同答案,因此要想复现,必须同时固定 seed 以及温度、max_tokens 等参数。另外,max_tokens 越大,响应的确定性越低。

Indeed Engineering 更进一步指出:模型自身输出的方差,可能超过评测数据抽样带来的方差。换句话说,来自模型的噪声,可能比“恰好选中了哪 200 道题”带来的噪声还要大。

示例:搭建重复运行的评测框架

回到周四。这次不再让每个提示词只跑一次,而是每个跑五次,并把所有信息记录下来。下面的代码使用 OpenAI Python SDK;grade 是你的判分函数,答对返回 1,答错返回 0。

import statistics
from collections import Counter

def run_eval(client, cases, model, n_runs=5):
    scores, fingerprints = [], Counter()
    for _ in range(n_runs):
        correct = 0
        for case in cases:
            r = client.chat.completions.create(
                model=model,
                temperature=0,
                seed=42,
                messages=case["messages"],
                max_tokens=case.get("max_tokens", 256),
            )
            # 记录 fingerprint,检查运行过程中后端是否发生变化
            fingerprints[r.system_fingerprint] += 1
            correct += case["grade"](r.choices[0].message.content)
        scores.append(correct / len(cases))
    return {
        "mean": statistics.mean(scores),
        "min": min(scores),
        "max": max(scores),
        "fingerprints": dict(fingerprints),
    }

假设结果是:旧提示词在 79% 到 85% 之间,新提示词在 78% 到 84% 之间。两个区间几乎完全重叠。对客户诚实的回答是“目前没有检测到差异”,而不是“回滚”。

再设想相反的情况:新提示词在 88% 到 91% 之间,最低分仍高于旧提示词的最高分。这时你才有了证据。

为什么不只跑一次省时间?arXiv 上另一项研究(2509.24086)表明,基于单次运行的排行榜很脆弱:与三次运行的多数结果相比,12 个切片中有 10 个至少翻转了一组两两排名。作者建议,使用随机解码时至少重复 2 次。

比较五次运行的最小—最大区间,仍然只是一条粗略的经验法则。如果想更有把握,Indeed Engineering 指出,每个输入对应多个输出会形成聚类数据,所以计算置信区间时,应按输入做 bootstrap:把每道题连同它的所有运行结果一起重采样,而不是把所有输出混在一起。

如果 fingerprints 一栏在同一批运行中出现了两个不同的值,先按 fingerprint 拆分结果再下结论,因为你比较的可能是两个后端,而不是两个提示词。

在你自己的项目上试一试

先测量基线噪声:在配置不变的情况下,把现有评测集跑五遍。得到的最小—最大区间就是你的“噪声底线”,任何小于它的差异都不应作为改进来汇报。

接着,为每次调用记录 system_fingerprint、模型、seed 和 max_tokens。当客户问这周的分数为什么和上周不一样时,你能拿数据回答,而不是靠猜。

然后检查判分方式。输出较长时,精确字符串匹配几乎必然失效;可以让模型返回结构化字段,按字段判分,或者按评分标准判分,而不是逐字比对。

最常见的错误

最常见的错误是拿两次单独运行做比较并得出结论。arXiv 2408.04667 测得的差异最高达 15%,单次运行得到的 4 个百分点差距说明不了任何问题。

其次是相信 seed 加温度 0 就能保证可复现。服务商自己只承诺“尽力而为”,Azure 文档也明确说输出仍可能不同。

最难发现的,是为长输出编写快照式回归测试。这些测试会随机失败,客户团队会逐渐学会忽略它们,等到真正的 bug 出现时,没有人会注意到。

一项值得写进简历的技能

如果面试官问“你怎么知道新提示词更好?”,不要只回答“评测分数更高”。要用流程来回答:重复运行、逐条对比、相同的 fingerprint、报告区间。这样的回答说明你理解自己的数据。

在简历上,“搭建了评测框架,可报告多次运行的方差,并通过 system_fingerprint 追踪后端变更”这样一句话,远比“具备 LLM 评测经验”具体。当岗位描述提到评测或可复现性时,就把这个例子带进求职信和面试。

客户需要的不是一个漂亮的数字,而是知道这个数字到下周四是否依然成立。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 6: 价值度量一次工具调用超时,就可能让 Agent 整轮失败每个调用都要返回结果,失败的也不例外;有副作用的工具按顺序执行,再统计循环还会出错多少次。