LLM 账单为何暴涨?只有链路追踪能给客户答案
span 记下 token、功能和客户后,一整天的猜测变成一次查询,两处记录的成本也能对账。
要点速览
- 每次模型调用都应是一个 span,带上模型名称、输入 token、输出 token 和自己的业务属性。
- 在应用内按请求记录成本;Anthropic 的 Usage & Cost Admin API 用于每天对账,不用于统计单个请求。
- 只在需要时开启(opt-in)prompt 内容记录,并让这些内容经过采样、载荷上限和脱敏处理。
某客户的内部聊天机器人已平稳运行三周。一个周一早上,对方财务负责人发来一张 API 账单截图,只问了一个问题:上周的费用上涨,是哪个功能、哪个部门造成的?
如果代码里只有零星几行 print(response),这一整天都得靠猜。如果有链路追踪(trace),一次查询就能给出答案。能当场回答的前线部署工程师(FDE)会赢得客户信任;只能靠猜的 FDE,往往最后只能道歉。
本文介绍如何分三层为 LLM 应用搭建可观测性:展示请求去向的链路追踪、受控的内容记录,以及在两处分别记录并相互对账的成本。
主干是链路追踪,不是日志
Langfuse 对应用链路追踪的定义是:记录一次请求在系统中流转的完整生命周期。在 LLM 应用里,这个生命周期很少只有一次模型调用,通常包括一步文档检索、一次或多次模型调用,有时还有 Agent 的工具调用。
trace 的最小单元是 span。Braintrust 关于用 OpenTelemetry 追踪 LLM 的指南把 span 描述为一个工作单元。每个模型调用 span 都带有标准属性,例如 gen_ai.request.model、gen_ai.usage.input_tokens 和 gen_ai.usage.output_tokens。
为什么要遵循标准,而不是自己起名字?因为这样以后选择后端的自由还在自己手里。Datadog 原生支持 OpenTelemetry GenAI Semantic Conventions,从该规范的 v1.37 版本起。
用 OpenTelemetry 埋点一次,就能把数据发往任何合适的后端,包括客户已经在用的监控工具。
需要注意一点:至少截至 2026 年 2 月,GenAI 规范仍在变化。它已迁移到 OpenTelemetry 的一个独立仓库,旧的 semconv 页面不再维护。查属性名时,请看新仓库。
好的 span 长什么样?
看一个具体例子:客户的聊天机器人收到问题,检索文档,然后调用 Claude。下面的 Python 代码把模型调用包在一个 span 里。gen_ai.* 属性来自标准;app.* 属性是项目自己的约定。
from opentelemetry import trace
import anthropic
tracer = trace.get_tracer("support-bot")
client = anthropic.Anthropic()
def answer(question, docs, customer_id, feature):
with tracer.start_as_current_span("chat") as span:
span.set_attribute("gen_ai.request.model", MODEL)
span.set_attribute("app.customer_id", customer_id)
span.set_attribute("app.feature", feature)
resp = client.messages.create(
model=MODEL,
max_tokens=1024,
system=SYSTEM_PROMPT,
messages=[{"role": "user",
"content": build_prompt(question, docs)}],
)
u = resp.usage
span.set_attribute("gen_ai.usage.input_tokens", u.input_tokens)
span.set_attribute("gen_ai.usage.output_tokens", u.output_tokens)
span.set_attribute("app.cache_read_tokens",
u.cache_read_input_tokens or 0)
span.set_attribute("app.cache_creation_tokens",
u.cache_creation_input_tokens or 0)
return resp
真正回答财务问题的,是 app.customer_id 和 app.feature 这两个属性。没有业务上下文的 token 只是一个数字。每个 span 都带上功能名称后,按 app.feature 分组,立刻就能看出哪个功能在消耗 token。
单独记录缓存 token 也有原因。Anthropic 的 usage 端点把未缓存输入、缓存输入、缓存创建 token 和输出 token 分开计量。如果 trace 把它们混成一个数字,就永远对不上服务商的数据。
成本必须在两处记录
很多工程师以为从服务商拉取成本数据就够了。其实不够,服务商自己的文档就说明了原因。
Anthropic 的 Usage & Cost Admin API 提供对组织历史用量和成本数据的编程访问,与 Console 中的 Usage 和 Cost 页面类似。但数据不是即时的:通常在请求完成约五分钟后出现,有时更晚。
此外,Cost API 只按天返回美元金额,usage 端点则使用 1m、1h 或 1d 的时间桶。数据按 workspace 拆分,而不是按你的终端客户或功能拆分。因此它适合对账,不适合计算单个请求的成本。
| 应用内记录(trace) | 服务商 API | |
|---|---|---|
| 粒度 | 按请求、按 span | 用量为 1m/1h/1d 时间桶;成本按天 |
| 拆分维度 | 按客户、功能及自定义标签 | 按 workspace |
| 延迟 | 接近实时 | 通常约 5 分钟,有时更长 |
| 用途 | 调试、内部成本分摊 | 为财务与账单对账 |
在应用侧,Langfuse 会为每次 generation 记录用量和成本。它内置常见模型及其 tokenizer 列表,可以自动推算成本。如果发送了实际数值,上报的数值优先于推算值。
Langfuse 的 Metrics API 还能按用户、标签或应用类型汇总用量和成本。
建议:始终发送响应里真实的 token 数,不要让工具自己去数。tokenizer 推算的数字只是兜底,不要把它当作事实来源。
对账:Priority Tier 和 Admin 密钥这两个坑
对账任务的思路很简单。每天早上,从 trace 汇总前一天的 token,再从 usage 端点拉取同一天的数据,两相比较。差距较大,多半说明某条模型调用路径没有埋点。
有两个细节容易踩坑。一是这个 API 需要 Admin 凭证,workspace API 密钥不行,所以要尽早向客户申请权限,别拖到验收那一周。二是 Priority Tier 的成本采用不同的计费模式,不包含在 cost 端点中,必须通过 usage 端点追踪。
内容记录:只在有意为之时开启
调试错误回答时,你会想看到确切的 prompt 和 completion。OpenTelemetry GenAI 规范把记录 prompt 内容的属性定义为 opt-in,即默认不记录。这个设计有道理:企业客户的 prompt 常常包含人名、合同编号和内部数据。
Braintrust 的指南强调,生产环境的 LLM 链路追踪需要仔细配置采样、批处理、载荷上限和脱敏。合理的顺序是:先写脱敏函数,设置载荷大小上限,为内容选定采样率,最后才开启记录。
性能方面,Langfuse SDK 在后台异步发送 trace 数据,因此链路追踪不会阻塞请求处理。但异步不等于免费:载荷越大,带宽和存储成本越高。
按什么顺序搭建?
首先,列出代码里所有调用模型的地方,包括 Agent 循环内部的调用。把每一处都包进 span,带上标准的 gen_ai.* 属性,再加两三个客户真正关心的业务属性。
接着,根据客户的基础设施选择后端。如果需要自带成本计算的专用 LLM 工具,用 Langfuse;如果客户已经在用 Datadog,就把 OpenTelemetry 数据发过去。之后再搭建每日对账任务,并在开启内容记录前配置好脱敏。
常见错误
最常见的错误是只追踪主模型调用,漏掉摘要、分类或重试等次要调用。只要搭建了对账任务,它很快就会暴露这个问题。
第二个错误是把 Cost API 当作实时计量表,在数据尚未到达时触发误报。第三个是从第一天起就记录完整的 prompt 内容,等客户安全团队发现后又不得不删除。
对于想转做 FDE 的开发者,这是一项容易展示的技能。简历上不要写“有可观测性经验”,而要写你为 trace 附加了业务属性,能按功能回答成本问题。阅读岗位描述时,OpenTelemetry、Langfuse 或成本归因(cost attribution)等字眼,说明这个岗位包含这类工作。
本周练习
拿一个自己写过的小型 LLM 应用,按上面的代码埋点,用两个不同的 app.feature 值跑 50 个请求。然后用一次查询回答:哪个功能消耗的输出 token 更多,多出几倍?
如果五分钟内能做到,那个周一早上和那张账单截图,你已经准备好了。
这篇文章对你有帮助吗?
感谢你的反馈!
7 个信源
- Usage and Cost API
- Token & Cost Tracking - Langfuse Docs
- Observability & Application Tracing - Langfuse Docs
- Datadog LLM Observability and OpenTelemetry GenAI Semantic Conventions · 2025-12-01
- OpenTelemetry LLM tracing guide (Braintrust) · 2026-07-02
- How to Monitor LLM Applications with OpenTelemetry GenAI Semantic Conventions (OneUptime) · 2026-02-06
- Semantic conventions for generative client AI spans (OpenTelemetry)