# LLM 账单为何暴涨？只有链路追踪能给客户答案

> span 记下 token、功能和客户后，一整天的猜测变成一次查询，两处记录的成本也能对账。

原文: https://fdetimes.net/zh/guides/llm-observability-tracing-logging-cost/

某客户的内部聊天机器人已平稳运行三周。一个周一早上，对方财务负责人发来一张 API 账单截图，只问了一个问题：上周的费用上涨，是哪个功能、哪个部门造成的？

如果代码里只有零星几行 `print(response)`，这一整天都得靠猜。如果有链路追踪（trace），一次查询就能给出答案。能当场回答的前线部署工程师（FDE）会赢得客户信任；只能靠猜的 FDE，往往最后只能道歉。

本文介绍如何分三层为 LLM 应用搭建可观测性：展示请求去向的链路追踪、受控的内容记录，以及在两处分别记录并相互对账的成本。

## 主干是链路追踪，不是日志

Langfuse 对应用链路追踪的定义是：记录一次请求在系统中流转的完整生命周期。在 LLM 应用里，这个生命周期很少只有一次模型调用，通常包括一步文档检索、一次或多次模型调用，有时还有 Agent 的工具调用。

trace 的最小单元是 span。Braintrust 关于用 OpenTelemetry 追踪 LLM 的指南把 span 描述为一个工作单元。每个模型调用 span 都带有标准属性，例如 `gen_ai.request.model`、`gen_ai.usage.input_tokens` 和 `gen_ai.usage.output_tokens`。

为什么要遵循标准，而不是自己起名字？因为这样以后选择后端的自由还在自己手里。Datadog 原生支持 OpenTelemetry GenAI Semantic Conventions，从该规范的 v1.37 版本起。

用 OpenTelemetry 埋点一次，就能把数据发往任何合适的后端，包括客户已经在用的监控工具。

需要注意一点：至少截至 2026 年 2 月，GenAI 规范仍在变化。它已迁移到 OpenTelemetry 的一个独立仓库，旧的 semconv 页面不再维护。查属性名时，请看新仓库。

## 好的 span 长什么样？

看一个具体例子：客户的聊天机器人收到问题，检索文档，然后调用 Claude。下面的 Python 代码把模型调用包在一个 span 里。`gen_ai.*` 属性来自标准；`app.*` 属性是项目自己的约定。

```python
from opentelemetry import trace
import anthropic

tracer = trace.get_tracer("support-bot")
client = anthropic.Anthropic()

def answer(question, docs, customer_id, feature):
    with tracer.start_as_current_span("chat") as span:
        span.set_attribute("gen_ai.request.model", MODEL)
        span.set_attribute("app.customer_id", customer_id)
        span.set_attribute("app.feature", feature)

        resp = client.messages.create(
            model=MODEL,
            max_tokens=1024,
            system=SYSTEM_PROMPT,
            messages=[{"role": "user",
                       "content": build_prompt(question, docs)}],
        )

        u = resp.usage
        span.set_attribute("gen_ai.usage.input_tokens", u.input_tokens)
        span.set_attribute("gen_ai.usage.output_tokens", u.output_tokens)
        span.set_attribute("app.cache_read_tokens",
                           u.cache_read_input_tokens or 0)
        span.set_attribute("app.cache_creation_tokens",
                           u.cache_creation_input_tokens or 0)
        return resp
```

真正回答财务问题的，是 `app.customer_id` 和 `app.feature` 这两个属性。没有业务上下文的 token 只是一个数字。每个 span 都带上功能名称后，按 `app.feature` 分组，立刻就能看出哪个功能在消耗 token。

单独记录缓存 token 也有原因。Anthropic 的 usage 端点把未缓存输入、缓存输入、缓存创建 token 和输出 token 分开计量。如果 trace 把它们混成一个数字，就永远对不上服务商的数据。

## 成本必须在两处记录

很多工程师以为从服务商拉取成本数据就够了。其实不够，服务商自己的文档就说明了原因。

Anthropic 的 Usage & Cost Admin API 提供对组织历史用量和成本数据的编程访问，与 Console 中的 Usage 和 Cost 页面类似。但数据不是即时的：通常在请求完成约五分钟后出现，有时更晚。

此外，Cost API 只按天返回美元金额，usage 端点则使用 1m、1h 或 1d 的时间桶。数据按 workspace 拆分，而不是按你的终端客户或功能拆分。因此它适合对账，不适合计算单个请求的成本。

| | 应用内记录（trace） | 服务商 API |
|---|---|---|
| 粒度 | 按请求、按 span | 用量为 1m/1h/1d 时间桶；成本按天 |
| 拆分维度 | 按客户、功能及自定义标签 | 按 workspace |
| 延迟 | 接近实时 | 通常约 5 分钟，有时更长 |
| 用途 | 调试、内部成本分摊 | 为财务与账单对账 |

在应用侧，Langfuse 会为每次 generation 记录用量和成本。它内置常见模型及其 tokenizer 列表，可以自动推算成本。如果发送了实际数值，上报的数值优先于推算值。

Langfuse 的 Metrics API 还能按用户、标签或应用类型汇总用量和成本。

建议：始终发送响应里真实的 token 数，不要让工具自己去数。tokenizer 推算的数字只是兜底，不要把它当作事实来源。

**要点:** trace 回答“钱花在了哪里”；服务商 API 回答“总数对不对”。两者都需要，还需要一个每天比对两者的任务。

## 对账：Priority Tier 和 Admin 密钥这两个坑

对账任务的思路很简单。每天早上，从 trace 汇总前一天的 token，再从 usage 端点拉取同一天的数据，两相比较。差距较大，多半说明某条模型调用路径没有埋点。

有两个细节容易踩坑。一是这个 API 需要 Admin 凭证，workspace API 密钥不行，所以要尽早向客户申请权限，别拖到验收那一周。二是 Priority Tier 的成本采用不同的计费模式，不包含在 cost 端点中，必须通过 usage 端点追踪。

## 内容记录：只在有意为之时开启

调试错误回答时，你会想看到确切的 prompt 和 completion。OpenTelemetry GenAI 规范把记录 prompt 内容的属性定义为 opt-in，即默认不记录。这个设计有道理：企业客户的 prompt 常常包含人名、合同编号和内部数据。

Braintrust 的指南强调，生产环境的 LLM 链路追踪需要仔细配置采样、批处理、载荷上限和脱敏。合理的顺序是：先写脱敏函数，设置载荷大小上限，为内容选定采样率，最后才开启记录。

性能方面，Langfuse SDK 在后台异步发送 trace 数据，因此链路追踪不会阻塞请求处理。但异步不等于免费：载荷越大，带宽和存储成本越高。

## 按什么顺序搭建？

首先，列出代码里所有调用模型的地方，包括 Agent 循环内部的调用。把每一处都包进 span，带上标准的 `gen_ai.*` 属性，再加两三个客户真正关心的业务属性。

接着，根据客户的基础设施选择后端。如果需要自带成本计算的专用 LLM 工具，用 Langfuse；如果客户已经在用 Datadog，就把 OpenTelemetry 数据发过去。之后再搭建每日对账任务，并在开启内容记录前配置好脱敏。

## 常见错误

最常见的错误是只追踪主模型调用，漏掉摘要、分类或重试等次要调用。只要搭建了对账任务，它很快就会暴露这个问题。

第二个错误是把 Cost API 当作实时计量表，在数据尚未到达时触发误报。第三个是从第一天起就记录完整的 prompt 内容，等客户安全团队发现后又不得不删除。

对于想转做 FDE 的开发者，这是一项容易展示的技能。简历上不要写“有可观测性经验”，而要写你为 trace 附加了业务属性，能按功能回答成本问题。阅读岗位描述时，OpenTelemetry、Langfuse 或成本归因（cost attribution）等字眼，说明这个岗位包含这类工作。

## 本周练习

拿一个自己写过的小型 LLM 应用，按上面的代码埋点，用两个不同的 `app.feature` 值跑 50 个请求。然后用一次查询回答：哪个功能消耗的输出 token 更多，多出几倍？

如果五分钟内能做到，那个周一早上和那张账单截图，你已经准备好了。

**本周动手试试:**

- 在项目中选一个 LLM 端点，把模型调用包进 OpenTelemetry span，带上 gen_ai.request.model、gen_ai.usage.input_tokens、gen_ai.usage.output_tokens，以及 app.customer_id 和 app.feature 两个属性。
- 写一个脚本，把 trace 中前一天的 token 总数与 usage 端点的每日数据进行比较，并记录差距。
- 列出 prompt 中所有可能包含客户个人数据的字段，在开启内容记录前为它们编写脱敏函数。

## 信源

- [Usage and Cost API](https://platform.claude.com/docs/en/build-with-claude/usage-cost-api)

- [Token & Cost Tracking - Langfuse Docs](https://langfuse.com/docs/observability/features/token-and-cost-tracking)

- [Observability & Application Tracing - Langfuse Docs](https://langfuse.com/docs/tracing/overview)

- [Datadog LLM Observability and OpenTelemetry GenAI Semantic Conventions](https://datadoghq.com/blog/llm-otel-semantic-convention/)

- [OpenTelemetry LLM tracing guide (Braintrust)](https://www.braintrust.dev/articles/opentelemetry-llm-tracing-guide)

- [How to Monitor LLM Applications with OpenTelemetry GenAI Semantic Conventions (OneUptime)](https://oneuptime.com/blog/post/2026-02-06-monitor-llm-opentelemetry-genai-semantic-conventions/markdown)

- [Semantic conventions for generative client AI spans (OpenTelemetry)](https://opentelemetry.io/docs/specs/semconv/gen-ai/gen-ai-spans/)
