FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

1.8 美分一次的 LLM 调用,为何每单要花 7.5 美分

财务要的是单位成果成本、成本预测和误差范围,这三样都只能由前线部署工程师来给。

分享微博

要点速览

  • 单次调用成本是总支出除以调用次数。CFO 需要的是单位成果成本,分母是完成的任务数。
  • 缓存、重试和推理 Token 都可能让单位成果成本远远偏离纸面估算。
  • 给 CFO 三种情景,每种都写明假设,然后每月对比预测与实际支出。
水平条形图:单次调用成本为 1.8 美分;单位成果成本在乐观情景下为 6.4 美分,基准情景下为 7.5 美分(高亮显示,是单次调用成本的四倍多),保守情景下为 12.9 美分。
约 601.43 美元的账单除以 33,000 次调用,得到 1.8 美分;除以 8,000 笔完整处理的案件,得到 7.5 美分。来源:本文的计算示例,采用假设价格和 Anthropic 提示词缓存倍数。

试点上线三周,一切顺利,这时客户财务团队发来一封邮件:“这个月账单多少?下个月会是多少?每完成一笔理赔,我们要花多少钱?”客户经理答不上来。

这个问题只能由你来答,因为只有你知道系统调用了模型多少次,又为什么要调用。

很多前线部署工程师(FDE)就在这里错失了一个大好机会。他们回复的是 Token 总量,更糟的是直接甩出供应商的公开价目表。CFO 要的是另外三样东西:单位成果成本、成本预测,以及这个预测的误差范围。

这项技能属于 FDE 工作中价值衡量的一面。做得好,它能把一笔看不透的费用变成管理层可以据此决策的单位经济模型。续约或扩大部署,往往就要经过这样一场对话。

它也值得写进简历:“建立单位成果成本模型,并与客户财务团队按月核对预测与实际支出”,分量远远超过“优化了 Token 用量”。

LLM 账单为什么让 CFO 头疼?

CFO 早已习惯看云账单。Microsoft 在介绍 Azure OpenAI 成本管理时指出了核心差异:传统云服务按计算小时或存储 GB 计费,LLM 则按消耗的 Token 计费。计算小时很好理解,可一百万个 Token 和公司的业务有什么关系,CFO 无从对应。

更麻烦的是,同一项任务消耗的 Token 数并不固定。Microsoft 也提到,用量突增会让预测更难。

对于推理模型,OpenAI 文档写明,推理 Token 无法通过 API 看到,但照样计费;某些情况下,你为输入和推理 Token 付了钱,却拿不到任何可见的回答。

所以,别让 CFO 去学 Token。你的工作是把 Token 换算成他们已经熟悉的单位:一笔完成的理赔、一张关闭的工单、一份审完的合同。

按调用次数算,还是按完成的工作算?

FinOps 工具公司 Finout 区分了两个指标。单次推理成本是 AI 总支出除以模型调用次数。

单位成果成本则是用分摊的 AI 成本除以成果数量。前者把失败的调用和完成任务的调用一视同仁;后者只计入真正完成的工作。失败的工作同样花了钱,所以这部分费用留在分子里,只是不计入分母。

分子怎么算,成本管理工具供应商 CloudNuro 给出了按交易计算的公式:每次调用的 Token 数乘以 Token 单价,加上每笔交易的调用次数乘以每次调用的费用。

在这个公式之上,还要加两层账单上看不到的东西:重试和失败。CloudNuro 建议把成功率、失败率和重试率分开跟踪。每一次重试调用,都会推高单位成果成本。

一笔保险理赔的成本:从 Token 算到美分

假设有一个对保险理赔做分诊的 Agent。每笔理赔需要 3 次调用:信息抽取、分类、起草回复。

每次调用有 6,000 个输入 Token,其中 5,000 个是重复出现、可以缓存的系统提示词和指令;另有 800 个输出 Token。

下面的价格是为了便于计算而设定的假设值:输入每百万 Token 3 美元,输出每百万 Token 15 美元。

Anthropic 的提示词缓存文档给出了两个必须用到的倍数。缓存读取的价格是基础输入价的 0.1 倍(部分模型例外)。缓存写入在 5 分钟 TTL 下是 1.25 倍,1 小时 TTL 下是 2 倍。

按假设价格,一次不走缓存的调用花费 0.030 美元;一次命中缓存的调用花费 0.0165 美元;一次需要写入缓存的调用花费 0.03375 美元,比不走缓存还贵。

假设一个月有 10,000 笔理赔,10% 的调用需要重试,90% 的调用命中缓存。总调用次数就是 33,000 次:29,700 次缓存命中,花费 490.05 美元;3,300 次缓存写入,花费 111.375 美元;合计约 601.43 美元。

除以调用次数,每次调用约 1.8 美分。看上去很漂亮,但对 CFO 毫无用处。

再假设只有 80% 的理赔,也就是 8,000 笔,在无人工介入的情况下完整处理完毕。其余 2,000 笔照样跑完了所有调用,费用仍包含在 601.43 美元里,但不算作成果。

单位成果成本是 601.43 除以 8,000,约 7.5 美分。这是单次调用成本的四倍多,也是 CFO 可以直接拿来和人工处理一笔理赔的成本做对比的数字。

误差范围藏在哪些假设里?

CloudNuro 建议按多种情景建模:保守、基准、乐观。每种情景都必须建立在具体假设上,否则就只是猜测。在上面的例子里,对结果影响最大的三个变量是缓存命中率、重试率和成功率。

情景 缓存命中 重试 成功 月支出 单位成果成本
保守 50% 20% 70% 约 904.50 美元 约 12.9 美分
基准 90% 10% 80% 约 601.43 美元 约 7.5 美分
乐观 95% 5% 85% 约 546.92 美元 约 6.4 美分

缓存命中率是最常被误判的变量。根据 Anthropic 的说明,缓存默认存活 5 分钟,每次使用时免费刷新。白天理赔源源不断,缓存一直是热的。

到了夜里,如果每十分钟才来一笔理赔,下一笔到达前缓存早已过期。假设一笔理赔的三个步骤共用同一段缓存前缀并且连续执行,那么每笔理赔的第一次调用都要按 1.25 倍价格重写缓存,只有后两次能命中。

这样一来,夜间缓存命中率降到约 67%,远低于基准情景的 90%。如果每个步骤各用各的提示词,三次调用都得写缓存。压测时测得的命中率,可能远高于真实情况。

推理 Token 会让误差范围进一步扩大。OpenAI 建议,刚开始试验时为推理和输出预留至少 25,000 个 Token。

按上面假设的输出价格,一次触及这个上限的调用要花 0.375 美元,是基准情景下平均单次调用成本的 20 多倍。

如果工作流用到推理模型,要把单次调用的成本上限作为一项独立假设列进表里。

常见错误

最常见的错误是报告单次调用成本,却让 CFO 把它当成单个任务的成本。一旦对方自己拿账单除以理赔笔数,你的信誉就没了。第二个错误是拿开发环境的缓存命中率套用到生产环境:开发环境里请求密集,生产环境的流量到夜里就变稀了。

第三个错误是忘了缓存写入的溢价,以为每次调用都能享受 0.1 倍价格。第四个是把失败和重试混成一个数字,结果分不清成本上涨是因为模型能力不足,还是数据管道出了问题。最后一个是只给一个预测数字,完全没有情景。

怎么向 CFO 汇报

开门见山:“目前每完成一笔理赔约花 7.5 美分,情况不好时可能升到约 12.9 美分。”下一句说明是哪个变量会把成本推向坏情况,以及你如何跟踪它。Token 放进附录。

CloudNuro 的博客称,各组织在按用量计费的 AI 服务上的支出,平均比最初预算高出 17%。这是供应商给出的数字,只能作参考,但它说明了没有留余量的预算有多容易超支。

所以,离开会议室之前,要约定好核对节奏。CloudNuro 写道,预测只有定期与现实对比才值得信任,并建议每月对照一次预测与实际支出。

第一次预测几乎肯定会有偏差。CFO 记住的,是你下个月带着实际支出回来,指出哪个假设错了,以及情景表做了哪些修正。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量Databricks 面试那道简单 SQL 题是追问良机60 分钟练四种 SQL 写法和一段 Python 脏 JSON 解析,顺带撞上 json 模块从不报出的两个错误。