# LLM 上线后，客户必问的三个问题

> Langfuse 用追踪、成本统计和评测作答，还能自托管在客户内网，这正是安全团队最先问的。

原文: https://fdetimes.net/zh/tools/langfuse-llm-observability-for-fdes/

LLM 应用进入生产环境后，客户通常会问三个问题：它为什么这样回答？每个月要花多少钱？这周的版本比上周好吗？

凭感觉回答，是失去客户信任最快的方式。Langfuse 的设计目标就是用数据回答这三个问题：用追踪回答“为什么”，用成本统计回答“多少钱”，用评测回答“有没有变好”，而且全部在同一个平台上。

对前线部署工程师（FDE）来说，讨论功能之前还有一个前提：装进客户基础设施的可观测性工具，必须能在对方内网运行。Langfuse 对自己的定位是开放、可自托管、可扩展，这恰好是客户安全团队最先会问的三点。

## trace 记录的不只是 LLM 调用

根据 Langfuse 文档，应用追踪会记录一个请求在系统中流转的完整生命周期：提示词、响应、消耗的 token 和延迟。更重要的是，trace 还覆盖非 LLM 调用的步骤：检索、嵌入和 API 调用。在检索增强生成（RAG）应用里，故障往往就藏在这些地方。

假设你在为一家银行部署内部政策助手。用户反映，关于信用额度的回答是错的。如果只看提示词和响应，你会以为是模型在胡编，于是开始改提示词。

在 Langfuse 里打开 trace，情况可能完全不同：嵌入步骤运行正常，检索返回了五段文字，但没有一段包含新的信用额度表。问题出在索引过期，而不是提示词。你十分钟就能给客户答复，而不是在无谓的提示词实验上浪费一整天。

前提是 SDK 已经接入生产环境，而客户的平台团队会在这里担心性能。Langfuse 文档写得很明确：trace 事件先在本地排队，再批量发送，不会影响应用的响应时间。架构评审时，你要准备好的就是这句话。

## 你发送的数字优先于 Langfuse 推算的数字

“要花多少钱？”听起来简单，但有两种回答方式，Langfuse 都支持。应用可以直接发送用量和成本；如果没有发送，Langfuse 会根据模型定义推算，模型定义里带有按用量类型划分的价格。

关键规则是：两者同时存在时，发送的值优先于推算的值。

建议是：如果客户使用的是私有合同下的模型，从第一天起就由应用发送成本，因为推算的数字一定不准，财务拿它和发票对账时，你会失去信誉。如果用的是广泛可用的模型，在给任何人看仪表盘之前，先检查模型定义。

## 给生产环境打分，再用 CI 拦住回归

第三个问题最难：系统有没有变好？Langfuse 可以用 LLM-as-a-judge 自动给生产环境中的实时 trace 打分，让你持续掌握质量，而不必等用户投诉。但分数只有推动行动才有意义。

在客户现场，一个合理的闭环是这样的：凡是得分低的 trace，都放进一个测试用例数据集。每次修改提示词或检索策略，都用这个数据集跑一次实验。根据文档，实验可以直接在 CI 中运行，在代码进入生产环境之前发现回归。

为了让这些改动足够安全，Langfuse 还提供提示词管理：提示词有版本，按标签部署。

这样，“改提示词”就不再是高风险操作，而是一次有版本号、有前后分数对比的变更。由于生产环境指向的是标签而不是某个固定的提示词，回滚只需把标签重新指向上一个版本。

**要点:** 对 FDE 来说，Langfuse 的价值不在仪表盘，而在于客户的每个问题（为什么、多少钱、有没有变好）都有数据支撑答案。

## 事先说清楚的局限

Langfuse 不会替你做判断。评判者本身是 LLM，它给的分数需要有人定期抽样阅读来核实。把它当作警示灯，而不是结论。推算的成本也完全取决于你配置的价格表。

许可证方面，有一个节点需要知道。2026 年 1 月 16 日，Langfuse 在博客上宣布被 ClickHouse 收购。Langfuse 表示会继续坚持开源和自托管，没有计划更改许可证；ClickHouse 则表示核心功能将继续采用 MIT 许可证。

这一承诺针对的是“核心功能”，所以在向客户做承诺之前，要仔细看清哪些算核心。你装进客户基础设施的工具，寿命必须比你的合同更长。

运维方面，ClickHouse 提到 Langfuse 本来就构建在 ClickHouse 之上。如果选择自托管，就要准备在客户基础设施里多运维一套存储系统，并和对方团队讲清楚由谁负责。

## 先学什么

从 trace 的概念开始：一个请求是一串步骤，每一步都有自己的输入、输出、耗时和成本。把 SDK 接入一个自己的小型 RAG 应用，跑几十个问题，反复练习读 trace，直到你发现检索故障比发现提示词故障更快。然后再学数据集、实验和 CI。

简历上不要写“熟悉 Langfuse”。要写你为一个 LLM 应用部署了可观测性：覆盖每个步骤的完整追踪、与发票对账的成本、在 CI 中运行的测试集。FDE 招聘经理看到这一行，就知道这个人能站在客户面前。

一切正常时，没人会提起 Langfuse。但当系统在某个重要数字上出错的那天，手里握着 trace 的人，才能保住合同。

**本周动手试试:**

- 把 Langfuse 接入一个自己的小型 RAG 应用，跑 10 个问题，逐个打开 trace，先看检索步骤返回了什么，再看模型的回答。
- 把应用答错的 20 个问题收进一个 Langfuse 数据集，之后每次修改提示词都跑一次实验，看分数是否下降。

## 信源

- [Langfuse Overview](https://langfuse.com/docs)

- [Overview (Langfuse documentation)](https://langfuse.com/docs/observability/overview)

- [Token & Cost Tracking (Langfuse documentation)](https://langfuse.com/docs/observability/features/token-and-cost-tracking)

- [Evaluation Overview (Langfuse docs)](https://langfuse.com/docs/evaluation/overview)

- [Langfuse joins ClickHouse](https://langfuse.com/blog/joining-clickhouse)

- [ClickHouse welcomes Langfuse: The future of open-source LLM observability](https://clickhouse.com/blog/clickhouse-acquires-langfuse-open-source-llm-observability)
