三个计量缺陷,让 Token 账单变成纠纷
其中两个可在设计用量事件时规避,第三个须在账单定稿前完成对账。
要点速览
- 在 Anthropic 中,input_tokens 只统计最后一个缓存断点之后的 Token,总输入还要加上两个缓存字段。
- 网络较慢时,重试很容易把一次调用计成两次。为每个事件设置确定性标识符即可避免。
- Stripe 异步处理计量事件,账单定稿后才到达的用量不会计费。对账必须在宽限期内完成。
客户发来一个 CSV 文件:他们日志里的 Token 数是一个数,本月账单上是另一个数,想知道原因。这时,负责集成的工程师要回答的是一个关于钱的问题,答案必须逐行对得上。
出现这种情况,不需要什么重大事故。设计里埋下三个小缺陷就够了:误读用量字段导致少计,重试导致重复计费,事件在计费周期结束后才到达导致迟计。
对于部署按 Token 计费的 AI 产品的前线部署工程师(FDE)来说,这三个问题都归工程负责,财务团队修不了。
每个问题都可以提前预防,前提只有一个:把每次模型调用当作一笔会计分录来严格对待,而不是日志里又多一行。
input_tokens 就是总输入吗?
不是,至少在 Anthropic 不是。Anthropic 的提示缓存文档写明,input_tokens 字段只统计最后一个缓存断点之后的 Token,实际发送的大部分内容并不在内。总输入为 cache_read_input_tokens + cache_creation_input_tokens + input_tokens。
以一个系统提示很长且已缓存的 Agent 为例。某次请求返回 input_tokens = 200、cache_read_input_tokens = 8000、cache_creation_input_tokens = 0,输出 500 个 Token。只读取 input_tokens 的计量系统会记录 200 个输入 Token,实际数字是 8,200。
更麻烦的是,各家服务商的计数方式并不相同。ReqLLM 库的文档指出,Anthropic 的用量通常带有标志 input_includes_cached: false,而 OpenAI 通常为 true。如果服务商已经把缓存计入输入,再套用三字段求和,缓存就被算了两次。
即使总数正确,也不应只发送一个汇总数字。ReqLLM 提到,缓存读取和缓存写入有各自的计数器,因为服务商可能分别定价;推理 Token 也可能单独定价。如果客户合同有多档价格,事件中就必须把每种 Token 分开记录。
发送两次,只计费一次
第二个缺陷出在网络层。用量发往计费系统,请求超时,代码重试,而第一次其实已经成功。Stripe 正是针对这种情况建议使用幂等键:每个计量事件都有一个可由调用方设置的标识符,留空时由 Stripe 生成。
陷阱就在“由 Stripe 生成”。如果每次重试都让 Stripe 新建一个标识符,两次发送就成了两个不同的事件。标识符必须是确定性的,也就是能从模型调用本身推导出来,例如把客户 ID 和服务商的 request id 拼在一起。
Lago 在介绍其数据摄取架构的文章中,对“恰好一次”的定义思路相同:基于 event_id 去重,并在客户端生成 idempotency_key。下面的函数同时完成两件事,归一化用量并附上标识符:
def build_usage_event(provider, customer_id, request_id, usage, ts):
# usage 已映射为通用字段名;原始字段名因服务商而异
cache_read = usage.get("cache_read", 0)
cache_write = usage.get("cache_write", 0)
raw_input = usage["input"]
INPUT_INCLUDES_CACHED = {"anthropic": False, "openai": True}
if INPUT_INCLUDES_CACHED[provider]:
uncached_input = raw_input - cache_read - cache_write
else:
uncached_input = raw_input
return {
"identifier": f"{customer_id}:{provider}:{request_id}",
"customer_id": customer_id,
"timestamp": ts, # 模型调用时间,而非发送时间
"uncached_input": uncached_input,
"cache_read": cache_read,
"cache_write": cache_write,
"output": usage["output"],
}
对同一请求调用这个函数两次,返回的标识符相同。去重机制就是这么简单:下游系统发现事件已存在,丢弃第二次发送。
注意,timestamp 字段取的是模型调用时间。Stripe 文档要求时间戳在过去 35 个自然日以内,且不晚于当前时间 5 分钟。服务器时钟快了几分钟,或者回填任务运行太晚,都足以让事件被拒。
量大时,先聚合再发送
Stripe 对 Meter Events 的限制是每个账户每秒 1,000 次调用,每个“客户—计量器”组合只允许一个并发调用。一个为同一客户并行运行多个任务的 Agent,很快就会撞上第二条限制。
合理的做法是把每次调用写入内部台账,再按时间窗口聚合后发送。此时标识符要做到按窗口确定,例如 customer:meter:2026-11-17T10:05,这样重发某个窗口也不会产生两个事件。
代价是要决定何时关闭窗口。窗口发送后才到达的事件归入新窗口。修改旧窗口会破坏已经建好的去重机制。
对账必须在账单锁定前完成
第三个缺陷最难发现,因为不会立刻出问题。Stripe 异步处理计量事件,计量汇总和即将生成的账单中的用量总数,可能尚未包含最近发送的事件。无效事件也只会事后通过错误 Events 报告,需要监听、修复并重发。
留给这些工作的时间有限。默认情况下,每张 Stripe 账单在定稿前有 1 小时宽限期,最长可调到 72 小时,期间仍可上报上一周期的用量。定稿后才到达的用量仍会出现在计量汇总中,但既不会计入已定稿的账单,也不会计入下一张账单。
纠纷正是这样产生的:仪表盘显示一个数,账单是另一个数。Lago 也观察到,迟到事件会破坏对账。因此,对账要按固定计划运行,远在客户提问之前。
最低限度的计划有四步。第一,每天比对内部台账总数与计量汇总,按客户和 Token 类型拆分。第二,对每处差异,追溯到单个标识符,查明事件是从未发送、发送失败,还是仍在处理中。
第三,读取 Stripe 返回的错误 Events,修复出错事件,并用原来的标识符重发。第四,周期结束时,在宽限期内重新比对一次,在账单锁定前补发缺失的用量。
| 对账中的现象 | 常见原因 | 处理方式 |
|---|---|---|
| 台账高于计量,且集中在有缓存的请求上 | 只读取了 input_tokens |
修正归一化,在周期内补发差额 |
| 计量高于台账 | 重试时生成了新标识符 | 改用确定性标识符 |
| 少量事件零散对不上 | 异步错误,或时间戳超出允许范围 | 读取错误 Events,修复后重发 |
| 差异集中在周期末 | 账单定稿后才发送 | 延长宽限期,提前对账 |
FDE 的常见错误
最常见的是因为字段名而默认 input_tokens 就是总数。其次是用发送时间代替模型调用时间,把周期截止前不久的调用推到下一个周期。最后是让计费系统成为唯一存放用量的地方,客户一问,手里没有任何可比对的数据。
还有一个错误在人的层面:没有事先告诉客户用量如何计算。一页简短的说明,列出 Token 类型、缓存如何收费、计费周期何时结束,客户就能在发邮件之前,自己拿日志和账单核对。
如果岗位描述提到按用量计费或计量,在简历上写一条具体的经历,例如“设计了带去重和每日对账的计量数据管道”。面试时,讲清楚自己如何把一处差异追溯到单个事件。
本周练习
构建一个包含 1,000 次模型调用的模拟台账,其中一部分带缓存读取。刻意引入三个缺陷:只统计 input_tokens;让 5% 的请求用随机标识符重试;让少数事件在周期截止后才到达。然后编写对账逻辑,看它能否把三个缺陷都找出来。
如果对账能在合成数据上找出全部三个缺陷,下次客户发来 CSV 文件和问题时,就能更从容地应对。
这篇文章对你有帮助吗?
感谢你的反馈!