FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

分析

客户在为永远读不到的推理 token 买单

推理是需要按负载逐一测量的旋钮,能说服客户的是其自有数据上的评测,而非基准榜单。

分享微博

要点速览

  • 推理能帮模型更好地解决复杂问题,但一条听起来合理的推理链仍然可能是错的。
  • 推理 token 不经 API 返回,却仍占用上下文。在 Claude 上它们按输出 token 计费,因此要单独记录。
  • OpenAI 和 Anthropic 都把 effort/预算视为收益递减的调优旋钮,而不是挽救质量的手段。
两条横向长条对比用户看到的内容和计费的内容:用户看到的回复是 200 个 token,计费的输出却是 3,200 个 token,其中 3,000 个是隐藏的思考 token,仍占用上下文窗口。下方是成本逐级上升的五级阶梯:普通提示词、零样本 CoT、低 effort 或接近 1,024 的预算、高 effort 或 16k 起的预算,以及自适应或手动预算。
在 Claude 上,思考 token 按输出计费:本例中,200 个 token 的回复按 3,200 个 token 收费。推理阶梯每上一级,都必须在评测中证明物有所值。

OpenAI 的 API 文档里有一个容易被一眼带过的细节:推理 token 无法通过 API 看到,却仍会占用上下文窗口的空间。Anthropic 则直接说明,思考 token 按输出 token 计费。换句话说,客户在为一部分自己永远读不到的工作付钱。

因此,“要不要开启推理?”很少是一个纯技术问题。它牵涉客户最在意的三件事:账单、延迟,以及答案在多大程度上可信。在客户现场,被指望回答这个问题的人,通常就是你。

本文给出一个明确的结论:推理是需要针对每个负载单独测量的旋钮,而不是一次打开、处处适用的升级开关。最能说服客户的答案也不来自基准排行榜,而来自在客户自有数据上跑出的评测结果。

收益真实存在,但有前提

2022 年发表的思维链(CoT)论文表明,生成中间推理步骤能显著提升大模型解决复杂问题的能力。

IBM 对其机制的解释很简单:把问题拆成更小的逻辑步骤,用户也能看到模型得出答案的路径。

原论文还有一个很少有人提及的前提:这种能力只会在规模足够大的模型中自然涌现。所以,如果客户出于安全考虑坚持在本地运行小模型,不要以为加上推理步骤就能挽救质量。

第二个前提更值得警惕。IBM 提醒,模型可能生成听起来合理、实则错误的推理链。客户看到一段又长又连贯的论证时,往往会对答案给予超出其应得的信任。如果手里没有评测集来核对,CoT 带来的透明度可能变成虚假的信心。

账单藏在没人读的那部分里

OpenAI 将推理模型描述为在输入和输出之外增加了第三类 token。IBM 的说法更直白:生成和处理大量推理步骤需要更多算力和时间,企业采用的成本也随之上升。

以 Claude 为例,因为 Anthropic 明确说明思考 token 按输出 token 计费。设想一个请求,数字特意取得便于相加:输入 500 个 token,答案 200 个 token。如果模型在作答前又思考了 3,000 个 token,计费的输出就是 3,200 个 token,而不是 200 个,尽管用户只看到那 200 个。

上下文也以同样的方式被蚕食。一个智能体如果要把长合同、对话历史和工具返回结果塞进同一个上下文窗口,每多一千个 token 的思考,就少放一千个 token 的文档。Anthropic 会在响应中返回一个数值,表明计费的输出 token 里有多少是内部推理。

任何用到推理的项目,第一件事就是从第一天起记录这个字段。

是旋钮,不是救生圈

两家厂商都提供了这样一个旋钮,只是名字不同。OpenAI 有 reasoning effort 参数,其文档建议把它当作调优旋钮,而不是恢复质量的主要手段。低 effort 更快、用的 token 更少,适合对延迟敏感的场景。

Anthropic 以 token 为单位设定思考预算,说法几乎一致,只是在收益递减上讲得更细:预算越高,推理越充分,但收益会随任务不同而逐渐减弱,代价则是更高的延迟。

Anthropic 的具体建议是:简单任务从接近 1,024 个 token 的下限起步,再逐步增加;复杂任务从 16k 或以上起步。

对前线部署工程师(FDE)来说,“不是恢复质量的主要手段”这句话就是一条操作指令。客户抱怨答案质量差时,合理的排查顺序是:上下文是否充分?提示词是否清晰?评测是否反映了客户的真实需求?这些都查过之后,才轮到去拧 effort 旋钮。

让模型决定,还是自己掌握决定权?

较新的 Claude 模型用自适应思考取代了固定预算:模型针对每个请求决定是否思考、思考多少;在低 effort 下,遇到简单输入甚至可以完全跳过思考。这听起来像是所有成本问题的解药,但 Anthropic 保留了一个重要的例外。

根据其文档,当负载需要可预测的延迟,或需要精确控制思考成本时,手动模式依然有用。在客户现场,这两种情况出现的频率比想象中更高:一个有响应时间服务等级协议(SLA)的系统,或者一个希望提前知道每月成本的财务部门。

把这些选项按从便宜到昂贵排列,FDE 就有了一个可以逐级攀登的五级阶梯,最后一级是在自适应思考和手动预算之间做选择。第 3、4 级中,“effort”是 OpenAI 的参数,1,024 和 16k token 的预算则属于 Anthropic:

级别 额外成本 延迟 适用场景
1. 普通提示词 无 最低 已通过评测的简单任务
2. 零样本 CoT(“Let’s think step by step”) 额外的可见输出 token 略有增加 换用推理模型之前的低成本基线
3. 低 effort(OpenAI)/ 接近 1,024 的预算(Claude) 少量推理 token 中等增加 对延迟敏感、需要多一点推理的场景
4. 高 effort(OpenAI)/ 16k 起的预算(Claude) 大量推理 token(在 Claude 上按输出计费) 高 在评测中已证明有收益的复杂任务
5a. 自适应思考(Claude) 每个请求不同 难以预测 简单和困难输入混杂、没有严格 SLA
5b. 手动预算(Claude) 上限明确 可预测 有 SLA,或客户需要控制成本

客户现场的一个上午

设想一家物流公司有两个负载。第一个是聊天机器人,告诉客户订单到了哪里。第二个是对账工具,把承运商发票与满是附加费条款的合同逐一核对,每晚批量运行。

聊天机器人是查询类任务,用户就守在屏幕前等。你从阶梯最底层起步,如果质量够用就停在那里。如果需要更多推理,低 effort 或较小的手动预算能把延迟控制在 SLA 允许的范围内。

对账工具正好相反。它属于 CoT 研究表明中间推理有帮助的那类多步骤问题,而且在夜间运行,延迟没那么重要。可以从较大的预算起步,但仍应在多个预算档位上跑评测,找出质量开始趋于平稳的那个点。

收益递减意味着总有一个阈值,超过它之后客户只是在多花钱。

对这两个负载,你带进客户会议的都是一张三列表格:每种配置的评测质量、延迟和推理 token。客户不需要懂思维链,他们需要看到哪一级值得花这笔钱,以及原因。

还有一个风险应当提前向客户说明:听起来合理的推理链仍可能是错的。如果客户打算把推理过程展示给对账人员看,要讲清楚那只是需要核实的建议,而不是证据。

开发者从本周起该练什么

这里要练的不是背 API 参数,参数名已经从固定预算变成了自适应,以后还可能再变。真正重要的是测量的本能:建一个小评测集,在多个 effort 档位上跑同一个任务,读取 usage 数据,再给出有数字支撑的建议。

阅读 FDE 或 AI 工程师的岗位描述时,留意“latency budget”“cost optimization”“evals”或“production LLM”这类字眼。它们说明这家公司需要的是懂得权衡取舍的人,而不只是会调 API 的人。

在简历上,写一句你如何在评测中比较多种推理配置、并据此选出符合客户 SLA 的方案,比“熟悉 GPT 和 Claude”更有说服力。

如果还没有真实项目,可以拿一个熟悉的问题,比如银行流水对账或合同条款抽取,按上面的阶梯逐级跑一遍,再把结果写成一篇短文。

求职时把自己测出的质量、延迟和 token 表格附进作品集,因为它表明你依据数据而非直觉做决定。

模型会越来越擅长思考,也会越来越多地自己做决定。但客户是否应该为这份思考付费,仍要由站在模型和账单之间的人来决定,而这个位置属于 FDE。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用在客户现场,选模型看合规,不看排行榜Anthropic 以 32% 领跑企业 LLM 用量,但到了现场,决定选择的是数据放在哪、存多久、走哪份合同。