FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

LLM 账单为何暴涨?只有链路追踪能给客户答案

span 记下 token、功能和客户后,一整天的猜测变成一次查询,两处记录的成本也能对账。

分享微博

要点速览

  • 每次模型调用都应是一个 span,带上模型名称、输入 token、输出 token 和自己的业务属性。
  • 在应用内按请求记录成本;Anthropic 的 Usage & Cost Admin API 用于每天对账,不用于统计单个请求。
  • 只在需要时开启(opt-in)prompt 内容记录,并让这些内容经过采样、载荷上限和脱敏处理。
示意图:一个发起模型调用的应用在两处记录成本,一处是按客户和功能拆分的 trace,另一处是按 workspace 拆分、延迟约 5 分钟的服务商 API。两者汇入同一个以橙色突出显示的每日对账任务;如果两个数字不一致,说明有模型调用没有埋点。
trace 显示钱花在了哪里,服务商 API 显示总数是否正确。每日对账任务比对这两个数据来源。

某客户的内部聊天机器人已平稳运行三周。一个周一早上,对方财务负责人发来一张 API 账单截图,只问了一个问题:上周的费用上涨,是哪个功能、哪个部门造成的?

如果代码里只有零星几行 print(response),这一整天都得靠猜。如果有链路追踪(trace),一次查询就能给出答案。能当场回答的前线部署工程师(FDE)会赢得客户信任;只能靠猜的 FDE,往往最后只能道歉。

本文介绍如何分三层为 LLM 应用搭建可观测性:展示请求去向的链路追踪、受控的内容记录,以及在两处分别记录并相互对账的成本。

主干是链路追踪,不是日志

Langfuse 对应用链路追踪的定义是:记录一次请求在系统中流转的完整生命周期。在 LLM 应用里,这个生命周期很少只有一次模型调用,通常包括一步文档检索、一次或多次模型调用,有时还有 Agent 的工具调用。

trace 的最小单元是 span。Braintrust 关于用 OpenTelemetry 追踪 LLM 的指南把 span 描述为一个工作单元。每个模型调用 span 都带有标准属性,例如 gen_ai.request.model、gen_ai.usage.input_tokens 和 gen_ai.usage.output_tokens。

为什么要遵循标准,而不是自己起名字?因为这样以后选择后端的自由还在自己手里。Datadog 原生支持 OpenTelemetry GenAI Semantic Conventions,从该规范的 v1.37 版本起。

用 OpenTelemetry 埋点一次,就能把数据发往任何合适的后端,包括客户已经在用的监控工具。

需要注意一点:至少截至 2026 年 2 月,GenAI 规范仍在变化。它已迁移到 OpenTelemetry 的一个独立仓库,旧的 semconv 页面不再维护。查属性名时,请看新仓库。

好的 span 长什么样?

看一个具体例子:客户的聊天机器人收到问题,检索文档,然后调用 Claude。下面的 Python 代码把模型调用包在一个 span 里。gen_ai.* 属性来自标准;app.* 属性是项目自己的约定。

from opentelemetry import trace
import anthropic

tracer = trace.get_tracer("support-bot")
client = anthropic.Anthropic()

def answer(question, docs, customer_id, feature):
    with tracer.start_as_current_span("chat") as span:
        span.set_attribute("gen_ai.request.model", MODEL)
        span.set_attribute("app.customer_id", customer_id)
        span.set_attribute("app.feature", feature)

        resp = client.messages.create(
            model=MODEL,
            max_tokens=1024,
            system=SYSTEM_PROMPT,
            messages=[{"role": "user",
                       "content": build_prompt(question, docs)}],
        )

        u = resp.usage
        span.set_attribute("gen_ai.usage.input_tokens", u.input_tokens)
        span.set_attribute("gen_ai.usage.output_tokens", u.output_tokens)
        span.set_attribute("app.cache_read_tokens",
                           u.cache_read_input_tokens or 0)
        span.set_attribute("app.cache_creation_tokens",
                           u.cache_creation_input_tokens or 0)
        return resp

真正回答财务问题的,是 app.customer_id 和 app.feature 这两个属性。没有业务上下文的 token 只是一个数字。每个 span 都带上功能名称后,按 app.feature 分组,立刻就能看出哪个功能在消耗 token。

单独记录缓存 token 也有原因。Anthropic 的 usage 端点把未缓存输入、缓存输入、缓存创建 token 和输出 token 分开计量。如果 trace 把它们混成一个数字,就永远对不上服务商的数据。

成本必须在两处记录

很多工程师以为从服务商拉取成本数据就够了。其实不够,服务商自己的文档就说明了原因。

Anthropic 的 Usage & Cost Admin API 提供对组织历史用量和成本数据的编程访问,与 Console 中的 Usage 和 Cost 页面类似。但数据不是即时的:通常在请求完成约五分钟后出现,有时更晚。

此外,Cost API 只按天返回美元金额,usage 端点则使用 1m、1h 或 1d 的时间桶。数据按 workspace 拆分,而不是按你的终端客户或功能拆分。因此它适合对账,不适合计算单个请求的成本。

应用内记录(trace) 服务商 API
粒度 按请求、按 span 用量为 1m/1h/1d 时间桶;成本按天
拆分维度 按客户、功能及自定义标签 按 workspace
延迟 接近实时 通常约 5 分钟,有时更长
用途 调试、内部成本分摊 为财务与账单对账

在应用侧,Langfuse 会为每次 generation 记录用量和成本。它内置常见模型及其 tokenizer 列表,可以自动推算成本。如果发送了实际数值,上报的数值优先于推算值。

Langfuse 的 Metrics API 还能按用户、标签或应用类型汇总用量和成本。

建议:始终发送响应里真实的 token 数,不要让工具自己去数。tokenizer 推算的数字只是兜底,不要把它当作事实来源。

对账:Priority Tier 和 Admin 密钥这两个坑

对账任务的思路很简单。每天早上,从 trace 汇总前一天的 token,再从 usage 端点拉取同一天的数据,两相比较。差距较大,多半说明某条模型调用路径没有埋点。

有两个细节容易踩坑。一是这个 API 需要 Admin 凭证,workspace API 密钥不行,所以要尽早向客户申请权限,别拖到验收那一周。二是 Priority Tier 的成本采用不同的计费模式,不包含在 cost 端点中,必须通过 usage 端点追踪。

内容记录:只在有意为之时开启

调试错误回答时,你会想看到确切的 prompt 和 completion。OpenTelemetry GenAI 规范把记录 prompt 内容的属性定义为 opt-in,即默认不记录。这个设计有道理:企业客户的 prompt 常常包含人名、合同编号和内部数据。

Braintrust 的指南强调,生产环境的 LLM 链路追踪需要仔细配置采样、批处理、载荷上限和脱敏。合理的顺序是:先写脱敏函数,设置载荷大小上限,为内容选定采样率,最后才开启记录。

性能方面,Langfuse SDK 在后台异步发送 trace 数据,因此链路追踪不会阻塞请求处理。但异步不等于免费:载荷越大,带宽和存储成本越高。

按什么顺序搭建?

首先,列出代码里所有调用模型的地方,包括 Agent 循环内部的调用。把每一处都包进 span,带上标准的 gen_ai.* 属性,再加两三个客户真正关心的业务属性。

接着,根据客户的基础设施选择后端。如果需要自带成本计算的专用 LLM 工具,用 Langfuse;如果客户已经在用 Datadog,就把 OpenTelemetry 数据发过去。之后再搭建每日对账任务,并在开启内容记录前配置好脱敏。

常见错误

最常见的错误是只追踪主模型调用,漏掉摘要、分类或重试等次要调用。只要搭建了对账任务,它很快就会暴露这个问题。

第二个错误是把 Cost API 当作实时计量表,在数据尚未到达时触发误报。第三个是从第一天起就记录完整的 prompt 内容,等客户安全团队发现后又不得不删除。

对于想转做 FDE 的开发者,这是一项容易展示的技能。简历上不要写“有可观测性经验”,而要写你为 trace 附加了业务属性,能按功能回答成本问题。阅读岗位描述时,OpenTelemetry、Langfuse 或成本归因(cost attribution)等字眼,说明这个岗位包含这类工作。

本周练习

拿一个自己写过的小型 LLM 应用,按上面的代码埋点,用两个不同的 app.feature 值跑 50 个请求。然后用一次查询回答:哪个功能消耗的输出 token 更多,多出几倍?

如果五分钟内能做到,那个周一早上和那张账单截图,你已经准备好了。

这篇文章对你有帮助吗?

7 个信源
路线图上的下一篇 · 阶段 6: 价值度量客户已在用 Superset,项目成效就放在那里衡量指标定义在对的地方,每次客户会议上数字都站得住,没人再花一小时追问出处。