# 换小模型是降低 LLM 成本的最后一招，不是第一招

> 先建评测，再削减 token：按 OpenAI 的经验，输出 token 减半，延迟大约也能减半。

原文: https://fdetimes.net/zh/guides/reduce-llm-latency-and-cost/

设想你在客户现场的第三周。你做的内部制度问答助手回答准确，业务团队很满意。这时运营负责人发来两句话：员工抱怨等待太久，本月 API 账单也大幅超出预算。

很多工程师的第一反应是直接换成更小的模型。这样做最后也许是对的，但通常顺序错了。降低延迟和成本有四个手段，各有代价，好的前线部署工程师（FDE）知道先用哪一个。

过了演示阶段，这是客户最看重的能力。一个系统哪怕输出再好，只要又慢又贵，就很难通过预算审批。

## 为什么要先做对，再做快？

Anthropic 的文档说得很直白：先设计一个在不受模型或提示词限制的情况下效果良好的提示词，然后再采用降低延迟的策略。过早优化会掩盖任务能达到的最佳质量。

所以在优化之前，需要一个小型评测集，比如几十个真实的客户问题，加上期望的答案。没有评测集，就无法判断某个让系统变快的改动，是否在悄悄让它出错。

## 四个手段，各自影响不同

第一个手段是**减少 token**。按照 Anthropic 的说法，模型需要处理和生成的 token 越少，响应越快。OpenAI 给出了一条值得记住的经验法则：输出 token 减少 50%，延迟大约能减少 50%。实践中，可以要求模型给出更短、结构化的回答，并设置 `max_tokens` 作为硬上限。

第二个手段是**提示缓存**。当提示词开头在多次调用中重复时，服务商会保存已处理的部分，从而同时节省时间和成本。在 Anthropic，从缓存读取的 token 价格是基础输入价格的 0.1 倍。OpenAI 称缓存的输入 token 最多便宜 95%。

第三个手段是**选对模型**。Anthropic 称这是降低延迟最直接的方法之一，OpenAI 也指出，较小的模型通常更快也更便宜。问题在于，如果不经验证就切换，这也是最容易损害质量的手段。

第四个手段是 OpenAI 的 **Batch API**。它能把成本降低 50%，代价是每个批次在 24 小时内完成，通常更快。它只适合不需要即时响应的任务，并且有独立于各模型限额之外的速率限制。

**流式输出**不在这四个手段之列，因为它既不缩短总耗时，也不降低成本。它作用于感知：用户能实时看到文字出现，应用因此显得快得多。

## 实例：制度问答助手

回到开头的助手。假设每个请求包含 10,000 个固定 token（系统指令加制度文档）和 200 个 token 的问题。高峰时，同一个 5 分钟窗口内会来 20 个问题。

不用缓存，需要支付 20 × 10,200 = 204,000 个输入价格单位。在 Anthropic 上启用缓存后，第一次调用以 1.25 倍价格把 10,000 个 token 写入缓存，即 12,500 个单位。

接下来十九次调用以 0.1 倍价格从缓存读取，即 19 × 1,000 = 19,000 个单位。再加上问题部分的 4,000 个单位，总计 35,500 个单位，不到原来的五分之一。

这个数字取决于提示词顺序是否正确。OpenAI 要求整个前缀完全一致才能复用缓存，并建议把稳定的指令和共用的参考资料放在最前面。结构应当是这样：

```
[1] 系统指令      （固定）
[2] 制度文档      （固定）
---- 缓存部分到此结束 ----
[3] 用户问题      （变化）
```

接下来是输出。如果平均回答长 400 个 token，而用户只需要结论和引用的条款，那么要求输出约 200 个 token 的精简格式，按 OpenAI 的经验法则，生成时间可以减少近一半。

每天下班前给业务团队汇总所有问题，则是另一回事：没有人在等这份汇总。这类任务很适合 Batch API，能省一半成本，也不会占用在线助手的速率限额。

## 使用顺序

排序原则很简单：对质量风险小的手段在前，需要评测来证明的手段在后。表格有六步，是因为四个手段之外，开头还有一步建立基线，而流式输出作为几乎零风险的感知手段放在中间。

| 步骤 | 做什么 | 降低什么 | 前提条件 |
|---|---|---|---|
| 1 | 让提示词正确，建立评测 | 暂不降低，用于确定基线 | 有真实的客户问题 |
| 2 | 削减输出 token，设置 max_tokens | 延迟和成本 | 简短回答仍能覆盖所需内容 |
| 3 | 缓存提示词的固定部分 | 输入成本和处理时间 | 前缀稳定，流量持续 |
| 4 | 开启流式输出（感知手段） | 感知延迟，不降成本 | 有人在屏幕前等待 |
| 5 | 换用更小的模型 | 延迟和成本 | 评测结果不降 |
| 6 | 把非紧急任务交给批处理 | 成本 | 可以接受最长 24 小时的等待 |

**要点:** 在评测证明质量不降之前，不要换用更小的模型。

## 让优化适得其反的错误

最常见的错误是不知不觉破坏了缓存。在提示词第一行插入当前日期时间或用户姓名，前缀就不再一致，每个请求都要从头处理。

第二个错误是在流量稀疏时开启缓存。Anthropic 默认的 TTL 是 5 分钟。如果请求间隔超过 5 分钟，每次调用都要支付 1.25 倍的写入价格，却从未命中读取，比不用缓存还贵。1 小时 TTL 的写入价格是 2 倍，只有在确定会多次读取时才划算。

第三个错误是把流式输出当作缩短总耗时的手段，然后用在需要等待完整结果的后端数据管道里。那里没有人看着文字出现，流式输出毫无作用。

第四个错误是凭几次手动试用就换模型。小模型也许能答好你想到的十个问题，却恰好在客户最常问的那类问题上失败。也不要因为便宜一半，就把有用户在等的任务塞进批处理。

OpenAI 还提到一点，容易被忽略：不要默认使用 LLM。如果某一步只是提取格式固定的合同编号，正则表达式更快，而且不花钱。

客户很少记得你用了哪个模型。他们记得的是系统答得更快了，账单降下来了，质量没有下降。所以在简历上写这项工作时，要写明实测的结果和验证方式，比如“通过调整提示词顺序命中缓存，降低输入成本，并用评测验证”。

**本周动手试试:**

- 在你的项目里选一个 LLM 调用，记录 20 个真实请求的输入 token、输出 token 和响应时间。
- 调整这个提示词的顺序，把固定的指令和文档放在最前面，每个请求都会变化的内容放在最后，然后重新测量缓存命中率。
- 列出不需要即时回答的 LLM 任务（每日汇总、数据标注），估算转到批处理后能节省多少。

## 信源

- [Reducing latency (Claude Docs)](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-latency)

- [Latency optimization (OpenAI API docs)](https://developers.openai.com/api/docs/guides/latency-optimization.md)

- [Prompt caching (Claude Docs)](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)

- [Prompt caching (OpenAI API docs)](https://developers.openai.com/api/docs/guides/prompt-caching)

- [Batch API (OpenAI API docs)](https://developers.openai.com/api/docs/guides/batch)
