LLM 上线后,客户必问的三个问题
Langfuse 用追踪、成本统计和评测作答,还能自托管在客户内网,这正是安全团队最先问的。
要点速览
- Langfuse 追踪请求的完整生命周期,包括检索和嵌入,FDE 能找到故障真正所在的环节,而不是一味归咎于模型。
- 成本可以由应用发送,也可以由 Langfuse 根据价格表推算;应用发送的值始终优先。
- 与 ClickHouse 的交易(2026 年 1 月 16 日)之后,核心功能仍采用 MIT 许可证并可自托管,这是把它装进客户基础设施的前提。
LLM 应用进入生产环境后,客户通常会问三个问题:它为什么这样回答?每个月要花多少钱?这周的版本比上周好吗?
凭感觉回答,是失去客户信任最快的方式。Langfuse 的设计目标就是用数据回答这三个问题:用追踪回答“为什么”,用成本统计回答“多少钱”,用评测回答“有没有变好”,而且全部在同一个平台上。
对前线部署工程师(FDE)来说,讨论功能之前还有一个前提:装进客户基础设施的可观测性工具,必须能在对方内网运行。Langfuse 对自己的定位是开放、可自托管、可扩展,这恰好是客户安全团队最先会问的三点。
trace 记录的不只是 LLM 调用
根据 Langfuse 文档,应用追踪会记录一个请求在系统中流转的完整生命周期:提示词、响应、消耗的 token 和延迟。更重要的是,trace 还覆盖非 LLM 调用的步骤:检索、嵌入和 API 调用。在检索增强生成(RAG)应用里,故障往往就藏在这些地方。
假设你在为一家银行部署内部政策助手。用户反映,关于信用额度的回答是错的。如果只看提示词和响应,你会以为是模型在胡编,于是开始改提示词。
在 Langfuse 里打开 trace,情况可能完全不同:嵌入步骤运行正常,检索返回了五段文字,但没有一段包含新的信用额度表。问题出在索引过期,而不是提示词。你十分钟就能给客户答复,而不是在无谓的提示词实验上浪费一整天。
前提是 SDK 已经接入生产环境,而客户的平台团队会在这里担心性能。Langfuse 文档写得很明确:trace 事件先在本地排队,再批量发送,不会影响应用的响应时间。架构评审时,你要准备好的就是这句话。
你发送的数字优先于 Langfuse 推算的数字
“要花多少钱?”听起来简单,但有两种回答方式,Langfuse 都支持。应用可以直接发送用量和成本;如果没有发送,Langfuse 会根据模型定义推算,模型定义里带有按用量类型划分的价格。
关键规则是:两者同时存在时,发送的值优先于推算的值。
由应用发送成本
- 数字由你掌控,包括协议价或微调模型
- 发生冲突时始终优先
- 需要在应用端写代码计算并附上用量
让 Langfuse 推算
- 无需改动应用,只需带价格的模型定义
- 数字的准确度取决于你加载的价格表
- 适合公开定价、广泛使用的模型
建议是:如果客户使用的是私有合同下的模型,从第一天起就由应用发送成本,因为推算的数字一定不准,财务拿它和发票对账时,你会失去信誉。如果用的是广泛可用的模型,在给任何人看仪表盘之前,先检查模型定义。
给生产环境打分,再用 CI 拦住回归
第三个问题最难:系统有没有变好?Langfuse 可以用 LLM-as-a-judge 自动给生产环境中的实时 trace 打分,让你持续掌握质量,而不必等用户投诉。但分数只有推动行动才有意义。
在客户现场,一个合理的闭环是这样的:凡是得分低的 trace,都放进一个测试用例数据集。每次修改提示词或检索策略,都用这个数据集跑一次实验。根据文档,实验可以直接在 CI 中运行,在代码进入生产环境之前发现回归。
为了让这些改动足够安全,Langfuse 还提供提示词管理:提示词有版本,按标签部署。
这样,“改提示词”就不再是高风险操作,而是一次有版本号、有前后分数对比的变更。由于生产环境指向的是标签而不是某个固定的提示词,回滚只需把标签重新指向上一个版本。
事先说清楚的局限
Langfuse 不会替你做判断。评判者本身是 LLM,它给的分数需要有人定期抽样阅读来核实。把它当作警示灯,而不是结论。推算的成本也完全取决于你配置的价格表。
许可证方面,有一个节点需要知道。2026 年 1 月 16 日,Langfuse 在博客上宣布被 ClickHouse 收购。Langfuse 表示会继续坚持开源和自托管,没有计划更改许可证;ClickHouse 则表示核心功能将继续采用 MIT 许可证。
这一承诺针对的是“核心功能”,所以在向客户做承诺之前,要仔细看清哪些算核心。你装进客户基础设施的工具,寿命必须比你的合同更长。
运维方面,ClickHouse 提到 Langfuse 本来就构建在 ClickHouse 之上。如果选择自托管,就要准备在客户基础设施里多运维一套存储系统,并和对方团队讲清楚由谁负责。
先学什么
从 trace 的概念开始:一个请求是一串步骤,每一步都有自己的输入、输出、耗时和成本。把 SDK 接入一个自己的小型 RAG 应用,跑几十个问题,反复练习读 trace,直到你发现检索故障比发现提示词故障更快。然后再学数据集、实验和 CI。
简历上不要写“熟悉 Langfuse”。要写你为一个 LLM 应用部署了可观测性:覆盖每个步骤的完整追踪、与发票对账的成本、在 CI 中运行的测试集。FDE 招聘经理看到这一行,就知道这个人能站在客户面前。
一切正常时,没人会提起 Langfuse。但当系统在某个重要数字上出错的那天,手里握着 trace 的人,才能保住合同。
这篇文章对你有帮助吗?
感谢你的反馈!