FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

换小模型是降低 LLM 成本的最后一招,不是第一招

先建评测,再削减 token:按 OpenAI 的经验,输出 token 减半,延迟大约也能减半。

分享微博

要点速览

  • 先让提示词正确工作,再做优化。过早优化会掩盖任务能达到的最佳质量。
  • 削减输出 token、缓存提示词的固定部分,成本低、风险小,应当最先使用。
  • 有了评测再换小模型;只有在没人等结果时,才把任务交给 Batch API。
大数字图表:启用提示缓存后,输入成本为 35,500 个输入价格单位,不用缓存则为 204,000 个单位。示例为 5 分钟内 20 次查询,每次共用 10,000 个 token 的固定提示词。两条横条按比例绘制,缓存一条短了五倍。
文中实例:20 次查询共用 10,000 个 token 的固定提示词,Anthropic 的缓存把输入成本从 204,000 个单位降到 35,500 个单位。来源:根据 Anthropic 提示缓存定价计算(缓存写入为输入价格的 1.25 倍,缓存读取为 0.1 倍)。

设想你在客户现场的第三周。你做的内部制度问答助手回答准确,业务团队很满意。这时运营负责人发来两句话:员工抱怨等待太久,本月 API 账单也大幅超出预算。

很多工程师的第一反应是直接换成更小的模型。这样做最后也许是对的,但通常顺序错了。降低延迟和成本有四个手段,各有代价,好的前线部署工程师(FDE)知道先用哪一个。

过了演示阶段,这是客户最看重的能力。一个系统哪怕输出再好,只要又慢又贵,就很难通过预算审批。

为什么要先做对,再做快?

Anthropic 的文档说得很直白:先设计一个在不受模型或提示词限制的情况下效果良好的提示词,然后再采用降低延迟的策略。过早优化会掩盖任务能达到的最佳质量。

所以在优化之前,需要一个小型评测集,比如几十个真实的客户问题,加上期望的答案。没有评测集,就无法判断某个让系统变快的改动,是否在悄悄让它出错。

四个手段,各自影响不同

第一个手段是减少 token。按照 Anthropic 的说法,模型需要处理和生成的 token 越少,响应越快。OpenAI 给出了一条值得记住的经验法则:输出 token 减少 50%,延迟大约能减少 50%。实践中,可以要求模型给出更短、结构化的回答,并设置 max_tokens 作为硬上限。

第二个手段是提示缓存。当提示词开头在多次调用中重复时,服务商会保存已处理的部分,从而同时节省时间和成本。在 Anthropic,从缓存读取的 token 价格是基础输入价格的 0.1 倍。OpenAI 称缓存的输入 token 最多便宜 95%。

第三个手段是选对模型。Anthropic 称这是降低延迟最直接的方法之一,OpenAI 也指出,较小的模型通常更快也更便宜。问题在于,如果不经验证就切换,这也是最容易损害质量的手段。

第四个手段是 OpenAI 的 Batch API。它能把成本降低 50%,代价是每个批次在 24 小时内完成,通常更快。它只适合不需要即时响应的任务,并且有独立于各模型限额之外的速率限制。

流式输出不在这四个手段之列,因为它既不缩短总耗时,也不降低成本。它作用于感知:用户能实时看到文字出现,应用因此显得快得多。

实例:制度问答助手

回到开头的助手。假设每个请求包含 10,000 个固定 token(系统指令加制度文档)和 200 个 token 的问题。高峰时,同一个 5 分钟窗口内会来 20 个问题。

不用缓存,需要支付 20 × 10,200 = 204,000 个输入价格单位。在 Anthropic 上启用缓存后,第一次调用以 1.25 倍价格把 10,000 个 token 写入缓存,即 12,500 个单位。

接下来十九次调用以 0.1 倍价格从缓存读取,即 19 × 1,000 = 19,000 个单位。再加上问题部分的 4,000 个单位,总计 35,500 个单位,不到原来的五分之一。

这个数字取决于提示词顺序是否正确。OpenAI 要求整个前缀完全一致才能复用缓存,并建议把稳定的指令和共用的参考资料放在最前面。结构应当是这样:

[1] 系统指令      (固定)
[2] 制度文档      (固定)
---- 缓存部分到此结束 ----
[3] 用户问题      (变化)

接下来是输出。如果平均回答长 400 个 token,而用户只需要结论和引用的条款,那么要求输出约 200 个 token 的精简格式,按 OpenAI 的经验法则,生成时间可以减少近一半。

每天下班前给业务团队汇总所有问题,则是另一回事:没有人在等这份汇总。这类任务很适合 Batch API,能省一半成本,也不会占用在线助手的速率限额。

使用顺序

排序原则很简单:对质量风险小的手段在前,需要评测来证明的手段在后。表格有六步,是因为四个手段之外,开头还有一步建立基线,而流式输出作为几乎零风险的感知手段放在中间。

步骤 做什么 降低什么 前提条件
1 让提示词正确,建立评测 暂不降低,用于确定基线 有真实的客户问题
2 削减输出 token,设置 max_tokens 延迟和成本 简短回答仍能覆盖所需内容
3 缓存提示词的固定部分 输入成本和处理时间 前缀稳定,流量持续
4 开启流式输出(感知手段) 感知延迟,不降成本 有人在屏幕前等待
5 换用更小的模型 延迟和成本 评测结果不降
6 把非紧急任务交给批处理 成本 可以接受最长 24 小时的等待

让优化适得其反的错误

最常见的错误是不知不觉破坏了缓存。在提示词第一行插入当前日期时间或用户姓名,前缀就不再一致,每个请求都要从头处理。

第二个错误是在流量稀疏时开启缓存。Anthropic 默认的 TTL 是 5 分钟。如果请求间隔超过 5 分钟,每次调用都要支付 1.25 倍的写入价格,却从未命中读取,比不用缓存还贵。1 小时 TTL 的写入价格是 2 倍,只有在确定会多次读取时才划算。

第三个错误是把流式输出当作缩短总耗时的手段,然后用在需要等待完整结果的后端数据管道里。那里没有人看着文字出现,流式输出毫无作用。

第四个错误是凭几次手动试用就换模型。小模型也许能答好你想到的十个问题,却恰好在客户最常问的那类问题上失败。也不要因为便宜一半,就把有用户在等的任务塞进批处理。

OpenAI 还提到一点,容易被忽略:不要默认使用 LLM。如果某一步只是提取格式固定的合同编号,正则表达式更快,而且不花钱。

客户很少记得你用了哪个模型。他们记得的是系统答得更快了,账单降下来了,质量没有下降。所以在简历上写这项工作时,要写明实测的结果和验证方式,比如“通过调整提示词顺序命中缓存,降低输入成本,并用评测验证”。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 5: 部署上线Agent 沙箱:文件与网络两道围栏缺一不可Agent 在客户机器上执行命令越自由,越需要一道它无法靠话术绕过的围栏。