# 1.8 美分一次的 LLM 调用，为何每单要花 7.5 美分

> 财务要的是单位成果成本、成本预测和误差范围，这三样都只能由前线部署工程师来给。

原文: https://fdetimes.net/zh/guides/llm-cost-per-outcome-for-cfos/

试点上线三周，一切顺利，这时客户财务团队发来一封邮件：“这个月账单多少？下个月会是多少？每完成一笔理赔，我们要花多少钱？”客户经理答不上来。

这个问题只能由你来答，因为只有你知道系统调用了模型多少次，又为什么要调用。

很多前线部署工程师（FDE）就在这里错失了一个大好机会。他们回复的是 Token 总量，更糟的是直接甩出供应商的公开价目表。CFO 要的是另外三样东西：单位成果成本、成本预测，以及这个预测的误差范围。

这项技能属于 FDE 工作中价值衡量的一面。做得好，它能把一笔看不透的费用变成管理层可以据此决策的单位经济模型。续约或扩大部署，往往就要经过这样一场对话。

它也值得写进简历：“建立单位成果成本模型，并与客户财务团队按月核对预测与实际支出”，分量远远超过“优化了 Token 用量”。

## LLM 账单为什么让 CFO 头疼？

CFO 早已习惯看云账单。Microsoft 在介绍 Azure OpenAI 成本管理时指出了核心差异：传统云服务按计算小时或存储 GB 计费，LLM 则按消耗的 Token 计费。计算小时很好理解，可一百万个 Token 和公司的业务有什么关系，CFO 无从对应。

更麻烦的是，同一项任务消耗的 Token 数并不固定。Microsoft 也提到，用量突增会让预测更难。

对于推理模型，OpenAI 文档写明，推理 Token 无法通过 API 看到，但照样计费；某些情况下，你为输入和推理 Token 付了钱，却拿不到任何可见的回答。

所以，别让 CFO 去学 Token。你的工作是把 Token 换算成他们已经熟悉的单位：一笔完成的理赔、一张关闭的工单、一份审完的合同。

## 按调用次数算，还是按完成的工作算？

FinOps 工具公司 Finout 区分了两个指标。单次推理成本是 AI 总支出除以模型调用次数。

单位成果成本则是用分摊的 AI 成本除以成果数量。前者把失败的调用和完成任务的调用一视同仁；后者只计入真正完成的工作。失败的工作同样花了钱，所以这部分费用留在分子里，只是不计入分母。

分子怎么算，成本管理工具供应商 CloudNuro 给出了按交易计算的公式：每次调用的 Token 数乘以 Token 单价，加上每笔交易的调用次数乘以每次调用的费用。

在这个公式之上，还要加两层账单上看不到的东西：重试和失败。CloudNuro 建议把成功率、失败率和重试率分开跟踪。每一次重试调用，都会推高单位成果成本。

**要点:** CFO 买的不是模型调用，而是完成的工作。

## 一笔保险理赔的成本：从 Token 算到美分

假设有一个对保险理赔做分诊的 Agent。每笔理赔需要 3 次调用：信息抽取、分类、起草回复。

每次调用有 6,000 个输入 Token，其中 5,000 个是重复出现、可以缓存的系统提示词和指令；另有 800 个输出 Token。

下面的价格是为了便于计算而设定的假设值：输入每百万 Token 3 美元，输出每百万 Token 15 美元。

Anthropic 的提示词缓存文档给出了两个必须用到的倍数。缓存读取的价格是基础输入价的 0.1 倍（部分模型例外）。缓存写入在 5 分钟 TTL 下是 1.25 倍，1 小时 TTL 下是 2 倍。

按假设价格，一次不走缓存的调用花费 0.030 美元；一次命中缓存的调用花费 0.0165 美元；一次需要写入缓存的调用花费 0.03375 美元，比不走缓存还贵。

假设一个月有 10,000 笔理赔，10% 的调用需要重试，90% 的调用命中缓存。总调用次数就是 33,000 次：29,700 次缓存命中，花费 490.05 美元；3,300 次缓存写入，花费 111.375 美元；合计约 601.43 美元。

除以调用次数，每次调用约 1.8 美分。看上去很漂亮，但对 CFO 毫无用处。

再假设只有 80% 的理赔，也就是 8,000 笔，在无人工介入的情况下完整处理完毕。其余 2,000 笔照样跑完了所有调用，费用仍包含在 601.43 美元里，但不算作成果。

单位成果成本是 601.43 除以 8,000，约 7.5 美分。这是单次调用成本的四倍多，也是 CFO 可以直接拿来和人工处理一笔理赔的成本做对比的数字。

## 误差范围藏在哪些假设里？

CloudNuro 建议按多种情景建模：保守、基准、乐观。每种情景都必须建立在具体假设上，否则就只是猜测。在上面的例子里，对结果影响最大的三个变量是缓存命中率、重试率和成功率。

| 情景 | 缓存命中 | 重试 | 成功 | 月支出 | 单位成果成本 |
|---|---|---|---|---|---|
| 保守 | 50% | 20% | 70% | 约 904.50 美元 | 约 12.9 美分 |
| 基准 | 90% | 10% | 80% | 约 601.43 美元 | 约 7.5 美分 |
| 乐观 | 95% | 5% | 85% | 约 546.92 美元 | 约 6.4 美分 |

缓存命中率是最常被误判的变量。根据 Anthropic 的说明，缓存默认存活 5 分钟，每次使用时免费刷新。白天理赔源源不断，缓存一直是热的。

到了夜里，如果每十分钟才来一笔理赔，下一笔到达前缓存早已过期。假设一笔理赔的三个步骤共用同一段缓存前缀并且连续执行，那么每笔理赔的第一次调用都要按 1.25 倍价格重写缓存，只有后两次能命中。

这样一来，夜间缓存命中率降到约 67%，远低于基准情景的 90%。如果每个步骤各用各的提示词，三次调用都得写缓存。压测时测得的命中率，可能远高于真实情况。

推理 Token 会让误差范围进一步扩大。OpenAI 建议，刚开始试验时为推理和输出预留至少 25,000 个 Token。

按上面假设的输出价格，一次触及这个上限的调用要花 0.375 美元，是基准情景下平均单次调用成本的 20 多倍。

如果工作流用到推理模型，要把单次调用的成本上限作为一项独立假设列进表里。

## 常见错误

最常见的错误是报告单次调用成本，却让 CFO 把它当成单个任务的成本。一旦对方自己拿账单除以理赔笔数，你的信誉就没了。第二个错误是拿开发环境的缓存命中率套用到生产环境：开发环境里请求密集，生产环境的流量到夜里就变稀了。

第三个错误是忘了缓存写入的溢价，以为每次调用都能享受 0.1 倍价格。第四个是把失败和重试混成一个数字，结果分不清成本上涨是因为模型能力不足，还是数据管道出了问题。最后一个是只给一个预测数字，完全没有情景。

## 怎么向 CFO 汇报

开门见山：“目前每完成一笔理赔约花 7.5 美分，情况不好时可能升到约 12.9 美分。”下一句说明是哪个变量会把成本推向坏情况，以及你如何跟踪它。Token 放进附录。

CloudNuro 的博客称，各组织在按用量计费的 AI 服务上的支出，平均比最初预算高出 17%。这是供应商给出的数字，只能作参考，但它说明了没有留余量的预算有多容易超支。

所以，离开会议室之前，要约定好核对节奏。CloudNuro 写道，预测只有定期与现实对比才值得信任，并建议每月对照一次预测与实际支出。

第一次预测几乎肯定会有偏差。CFO 记住的，是你下个月带着实际支出回来，指出哪个假设错了，以及情景表做了哪些修正。

**本周动手试试:**

- 拿一个正在运行的工作流的日志，统计一周内的调用次数、重试次数和成功成果数，分别算出单次调用成本和单位成果成本
- 按一天中的每个小时计算实际缓存命中率，看看低峰时段是否把它拉低了
- 为这个工作流写一张三情景表，每种情景写明三项假设：缓存命中率、重试率和成功率

## 信源

- [Prompt caching](https://platform.claude.com/docs/en/docs/build-with-claude/prompt-caching)

- [Reasoning models](https://developers.openai.com/api/docs/guides/reasoning)

- [How Finout Connects AI Spend to Real Business Outcomes](https://www.finout.io/blog/how-finout-connects-ai-spend-to-real-business-outcomes)

- [AI Cost Forecasting: How to Budget for Tokens, Calls, and Credits](https://www.cloudnuro.ai/blog/ai-cost-forecasting-how-to-budget-for-tokens-calls-and-credits)

- [Managing Azure OpenAI costs with the FinOps toolkit and FOCUS: Turning tokens into unit economics](https://techcommunity.microsoft.com/blog/finopsblog/managing-azure-openai-costs-with-the-finops-toolkit-and-focus-turning-tokens-int/4413886)
