换小模型是降低 LLM 成本的最后一招,不是第一招
先建评测,再削减 token:按 OpenAI 的经验,输出 token 减半,延迟大约也能减半。
要点速览
- 先让提示词正确工作,再做优化。过早优化会掩盖任务能达到的最佳质量。
- 削减输出 token、缓存提示词的固定部分,成本低、风险小,应当最先使用。
- 有了评测再换小模型;只有在没人等结果时,才把任务交给 Batch API。
设想你在客户现场的第三周。你做的内部制度问答助手回答准确,业务团队很满意。这时运营负责人发来两句话:员工抱怨等待太久,本月 API 账单也大幅超出预算。
很多工程师的第一反应是直接换成更小的模型。这样做最后也许是对的,但通常顺序错了。降低延迟和成本有四个手段,各有代价,好的前线部署工程师(FDE)知道先用哪一个。
过了演示阶段,这是客户最看重的能力。一个系统哪怕输出再好,只要又慢又贵,就很难通过预算审批。
为什么要先做对,再做快?
Anthropic 的文档说得很直白:先设计一个在不受模型或提示词限制的情况下效果良好的提示词,然后再采用降低延迟的策略。过早优化会掩盖任务能达到的最佳质量。
所以在优化之前,需要一个小型评测集,比如几十个真实的客户问题,加上期望的答案。没有评测集,就无法判断某个让系统变快的改动,是否在悄悄让它出错。
四个手段,各自影响不同
第一个手段是减少 token。按照 Anthropic 的说法,模型需要处理和生成的 token 越少,响应越快。OpenAI 给出了一条值得记住的经验法则:输出 token 减少 50%,延迟大约能减少 50%。实践中,可以要求模型给出更短、结构化的回答,并设置 max_tokens 作为硬上限。
第二个手段是提示缓存。当提示词开头在多次调用中重复时,服务商会保存已处理的部分,从而同时节省时间和成本。在 Anthropic,从缓存读取的 token 价格是基础输入价格的 0.1 倍。OpenAI 称缓存的输入 token 最多便宜 95%。
第三个手段是选对模型。Anthropic 称这是降低延迟最直接的方法之一,OpenAI 也指出,较小的模型通常更快也更便宜。问题在于,如果不经验证就切换,这也是最容易损害质量的手段。
第四个手段是 OpenAI 的 Batch API。它能把成本降低 50%,代价是每个批次在 24 小时内完成,通常更快。它只适合不需要即时响应的任务,并且有独立于各模型限额之外的速率限制。
流式输出不在这四个手段之列,因为它既不缩短总耗时,也不降低成本。它作用于感知:用户能实时看到文字出现,应用因此显得快得多。
实例:制度问答助手
回到开头的助手。假设每个请求包含 10,000 个固定 token(系统指令加制度文档)和 200 个 token 的问题。高峰时,同一个 5 分钟窗口内会来 20 个问题。
不用缓存,需要支付 20 × 10,200 = 204,000 个输入价格单位。在 Anthropic 上启用缓存后,第一次调用以 1.25 倍价格把 10,000 个 token 写入缓存,即 12,500 个单位。
接下来十九次调用以 0.1 倍价格从缓存读取,即 19 × 1,000 = 19,000 个单位。再加上问题部分的 4,000 个单位,总计 35,500 个单位,不到原来的五分之一。
这个数字取决于提示词顺序是否正确。OpenAI 要求整个前缀完全一致才能复用缓存,并建议把稳定的指令和共用的参考资料放在最前面。结构应当是这样:
[1] 系统指令 (固定)
[2] 制度文档 (固定)
---- 缓存部分到此结束 ----
[3] 用户问题 (变化)
接下来是输出。如果平均回答长 400 个 token,而用户只需要结论和引用的条款,那么要求输出约 200 个 token 的精简格式,按 OpenAI 的经验法则,生成时间可以减少近一半。
每天下班前给业务团队汇总所有问题,则是另一回事:没有人在等这份汇总。这类任务很适合 Batch API,能省一半成本,也不会占用在线助手的速率限额。
使用顺序
排序原则很简单:对质量风险小的手段在前,需要评测来证明的手段在后。表格有六步,是因为四个手段之外,开头还有一步建立基线,而流式输出作为几乎零风险的感知手段放在中间。
| 步骤 | 做什么 | 降低什么 | 前提条件 |
|---|---|---|---|
| 1 | 让提示词正确,建立评测 | 暂不降低,用于确定基线 | 有真实的客户问题 |
| 2 | 削减输出 token,设置 max_tokens | 延迟和成本 | 简短回答仍能覆盖所需内容 |
| 3 | 缓存提示词的固定部分 | 输入成本和处理时间 | 前缀稳定,流量持续 |
| 4 | 开启流式输出(感知手段) | 感知延迟,不降成本 | 有人在屏幕前等待 |
| 5 | 换用更小的模型 | 延迟和成本 | 评测结果不降 |
| 6 | 把非紧急任务交给批处理 | 成本 | 可以接受最长 24 小时的等待 |
让优化适得其反的错误
最常见的错误是不知不觉破坏了缓存。在提示词第一行插入当前日期时间或用户姓名,前缀就不再一致,每个请求都要从头处理。
第二个错误是在流量稀疏时开启缓存。Anthropic 默认的 TTL 是 5 分钟。如果请求间隔超过 5 分钟,每次调用都要支付 1.25 倍的写入价格,却从未命中读取,比不用缓存还贵。1 小时 TTL 的写入价格是 2 倍,只有在确定会多次读取时才划算。
第三个错误是把流式输出当作缩短总耗时的手段,然后用在需要等待完整结果的后端数据管道里。那里没有人看着文字出现,流式输出毫无作用。
第四个错误是凭几次手动试用就换模型。小模型也许能答好你想到的十个问题,却恰好在客户最常问的那类问题上失败。也不要因为便宜一半,就把有用户在等的任务塞进批处理。
OpenAI 还提到一点,容易被忽略:不要默认使用 LLM。如果某一步只是提取格式固定的合同编号,正则表达式更快,而且不花钱。
客户很少记得你用了哪个模型。他们记得的是系统答得更快了,账单降下来了,质量没有下降。所以在简历上写这项工作时,要写明实测的结果和验证方式,比如“通过调整提示词顺序命中缓存,降低输入成本,并用评测验证”。
这篇文章对你有帮助吗?
感谢你的反馈!