# 客户在为永远读不到的推理 token 买单

> 推理是需要按负载逐一测量的旋钮，能说服客户的是其自有数据上的评测，而非基准榜单。

原文: https://fdetimes.net/zh/analysis/when-reasoning-models-worth-the-cost/

OpenAI 的 API 文档里有一个容易被一眼带过的细节：推理 token 无法通过 API 看到，却仍会占用上下文窗口的空间。Anthropic 则直接说明，思考 token 按输出 token 计费。换句话说，客户在为一部分自己永远读不到的工作付钱。

因此，“要不要开启推理？”很少是一个纯技术问题。它牵涉客户最在意的三件事：账单、延迟，以及答案在多大程度上可信。在客户现场，被指望回答这个问题的人，通常就是你。

本文给出一个明确的结论：推理是需要针对每个负载单独测量的旋钮，而不是一次打开、处处适用的升级开关。最能说服客户的答案也不来自基准排行榜，而来自在客户自有数据上跑出的评测结果。

## 收益真实存在，但有前提

2022 年发表的思维链（CoT）论文表明，生成中间推理步骤能显著提升大模型解决复杂问题的能力。

IBM 对其机制的解释很简单：把问题拆成更小的逻辑步骤，用户也能看到模型得出答案的路径。

原论文还有一个很少有人提及的前提：这种能力只会在规模足够大的模型中自然涌现。所以，如果客户出于安全考虑坚持在本地运行小模型，不要以为加上推理步骤就能挽救质量。

第二个前提更值得警惕。IBM 提醒，模型可能生成听起来合理、实则错误的推理链。客户看到一段又长又连贯的论证时，往往会对答案给予超出其应得的信任。如果手里没有评测集来核对，CoT 带来的透明度可能变成虚假的信心。

## 账单藏在没人读的那部分里

OpenAI 将推理模型描述为在输入和输出之外增加了第三类 token。IBM 的说法更直白：生成和处理大量推理步骤需要更多算力和时间，企业采用的成本也随之上升。

以 Claude 为例，因为 Anthropic 明确说明思考 token 按输出 token 计费。设想一个请求，数字特意取得便于相加：输入 500 个 token，答案 200 个 token。如果模型在作答前又思考了 3,000 个 token，计费的输出就是 3,200 个 token，而不是 200 个，尽管用户只看到那 200 个。

上下文也以同样的方式被蚕食。一个智能体如果要把长合同、对话历史和工具返回结果塞进同一个上下文窗口，每多一千个 token 的思考，就少放一千个 token 的文档。Anthropic 会在响应中返回一个数值，表明计费的输出 token 里有多少是内部推理。

任何用到推理的项目，第一件事就是从第一天起记录这个字段。

## 是旋钮，不是救生圈

两家厂商都提供了这样一个旋钮，只是名字不同。OpenAI 有 reasoning effort 参数，其文档建议把它当作调优旋钮，而不是恢复质量的主要手段。低 effort 更快、用的 token 更少，适合对延迟敏感的场景。

Anthropic 以 token 为单位设定思考预算，说法几乎一致，只是在收益递减上讲得更细：预算越高，推理越充分，但收益会随任务不同而逐渐减弱，代价则是更高的延迟。

Anthropic 的具体建议是：简单任务从接近 1,024 个 token 的下限起步，再逐步增加；复杂任务从 16k 或以上起步。

**要点:** 如果答案出错是因为数据缺失或提示词含糊，提高思考预算只会让模型错得更久、更贵。

对前线部署工程师（FDE）来说，“不是恢复质量的主要手段”这句话就是一条操作指令。客户抱怨答案质量差时，合理的排查顺序是：上下文是否充分？提示词是否清晰？评测是否反映了客户的真实需求？这些都查过之后，才轮到去拧 effort 旋钮。

## 让模型决定，还是自己掌握决定权？

较新的 Claude 模型用自适应思考取代了固定预算：模型针对每个请求决定是否思考、思考多少；在低 effort 下，遇到简单输入甚至可以完全跳过思考。这听起来像是所有成本问题的解药，但 Anthropic 保留了一个重要的例外。

根据其文档，当负载需要可预测的延迟，或需要精确控制思考成本时，手动模式依然有用。在客户现场，这两种情况出现的频率比想象中更高：一个有响应时间服务等级协议（SLA）的系统，或者一个希望提前知道每月成本的财务部门。

把这些选项按从便宜到昂贵排列，FDE 就有了一个可以逐级攀登的五级阶梯，最后一级是在自适应思考和手动预算之间做选择。第 3、4 级中，“effort”是 OpenAI 的参数，1,024 和 16k token 的预算则属于 Anthropic：

| 级别 | 额外成本 | 延迟 | 适用场景 |
|---|---|---|---|
| 1. 普通提示词 | 无 | 最低 | 已通过评测的简单任务 |
| 2. 零样本 CoT（"Let's think step by step"） | 额外的可见输出 token | 略有增加 | 换用推理模型之前的低成本基线 |
| 3. 低 effort（OpenAI）/ 接近 1,024 的预算（Claude） | 少量推理 token | 中等增加 | 对延迟敏感、需要多一点推理的场景 |
| 4. 高 effort（OpenAI）/ 16k 起的预算（Claude） | 大量推理 token（在 Claude 上按输出计费） | 高 | 在评测中已证明有收益的复杂任务 |
| 5a. 自适应思考（Claude） | 每个请求不同 | 难以预测 | 简单和困难输入混杂、没有严格 SLA |
| 5b. 手动预算（Claude） | 上限明确 | 可预测 | 有 SLA，或客户需要控制成本 |

## 客户现场的一个上午

设想一家物流公司有两个负载。第一个是聊天机器人，告诉客户订单到了哪里。第二个是对账工具，把承运商发票与满是附加费条款的合同逐一核对，每晚批量运行。

聊天机器人是查询类任务，用户就守在屏幕前等。你从阶梯最底层起步，如果质量够用就停在那里。如果需要更多推理，低 effort 或较小的手动预算能把延迟控制在 SLA 允许的范围内。

对账工具正好相反。它属于 CoT 研究表明中间推理有帮助的那类多步骤问题，而且在夜间运行，延迟没那么重要。可以从较大的预算起步，但仍应在多个预算档位上跑评测，找出质量开始趋于平稳的那个点。

收益递减意味着总有一个阈值，超过它之后客户只是在多花钱。

对这两个负载，你带进客户会议的都是一张三列表格：每种配置的评测质量、延迟和推理 token。客户不需要懂思维链，他们需要看到哪一级值得花这笔钱，以及原因。

还有一个风险应当提前向客户说明：听起来合理的推理链仍可能是错的。如果客户打算把推理过程展示给对账人员看，要讲清楚那只是需要核实的建议，而不是证据。

## 开发者从本周起该练什么

这里要练的不是背 API 参数，参数名已经从固定预算变成了自适应，以后还可能再变。真正重要的是测量的本能：建一个小评测集，在多个 effort 档位上跑同一个任务，读取 usage 数据，再给出有数字支撑的建议。

阅读 FDE 或 AI 工程师的岗位描述时，留意“latency budget”“cost optimization”“evals”或“production LLM”这类字眼。它们说明这家公司需要的是懂得权衡取舍的人，而不只是会调 API 的人。

在简历上，写一句你如何在评测中比较多种推理配置、并据此选出符合客户 SLA 的方案，比“熟悉 GPT 和 Claude”更有说服力。

如果还没有真实项目，可以拿一个熟悉的问题，比如银行流水对账或合同条款抽取，按上面的阶梯逐级跑一遍，再把结果写成一篇短文。

求职时把自己测出的质量、延迟和 token 表格附进作品集，因为它表明你依据数据而非直觉做决定。

模型会越来越擅长思考，也会越来越多地自己做决定。但客户是否应该为这份思考付费，仍要由站在模型和账单之间的人来决定，而这个位置属于 FDE。

**本周动手试试:**

- 挑一个手头正在做的真实任务，建一个小评测集，分别用普通提示词、加上 "Let's think step by step"、以及两个 effort 档位的推理来跑，把质量、延迟和推理 token 记录在一张表里。
- 在项目日志中加入显示输出 token 中有多少是内部推理的字段，这样每次调整配置时成本都一目了然。
- 根据刚测出的数字，为客户（或为自己的作品集）写一份简短说明，解释每个负载为何采用自适应思考或手动预算。

## 信源

- [Chain-of-Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903)

- [What is chain of thought (CoT) prompting? (IBM)](https://www.ibm.com/think/topics/chain-of-thoughts)

- [Chain-of-Thought Prompting - Prompting Guide](https://www.promptingguide.ai/techniques/cot)

- [Reasoning models - OpenAI API docs](https://developers.openai.com/api/docs/guides/reasoning)

- [Extended thinking - Claude API docs](https://platform.claude.com/docs/en/build-with-claude/extended-thinking)
