FDE Times 数据在招 FDE 职位 881▼3 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 53在招公司 184支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

LLM 上线后,客户必问的三个问题

Langfuse 用追踪、成本统计和评测作答,还能自托管在客户内网,这正是安全团队最先问的。

分享微博

要点速览

  • Langfuse 追踪请求的完整生命周期,包括检索和嵌入,FDE 能找到故障真正所在的环节,而不是一味归咎于模型。
  • 成本可以由应用发送,也可以由 Langfuse 根据价格表推算;应用发送的值始终优先。
  • 与 ClickHouse 的交易(2026 年 1 月 16 日)之后,核心功能仍采用 MIT 许可证并可自托管,这是把它装进客户基础设施的前提。
信息图:部署 LLM 后客户会问的三个问题。“它为什么这样回答?”由 Trace 回答,记录检索、嵌入、API 调用和 LLM 在内的每个步骤;“每月账单多少?”由 Cost 功能回答,成本由应用发送或根据模型定义推算;“有没有变好?”由 Eval 回答,用 LLM-as-a-judge 给 trace 打分。三个箭头指向一条橙色横栏:Langfuse,三者集于一个开源、可自托管、可扩展的平台。
部署后客户必问的三个问题,各由 Langfuse 的一项功能回答,三者都在同一个平台上。

LLM 应用进入生产环境后,客户通常会问三个问题:它为什么这样回答?每个月要花多少钱?这周的版本比上周好吗?

凭感觉回答,是失去客户信任最快的方式。Langfuse 的设计目标就是用数据回答这三个问题:用追踪回答“为什么”,用成本统计回答“多少钱”,用评测回答“有没有变好”,而且全部在同一个平台上。

对前线部署工程师(FDE)来说,讨论功能之前还有一个前提:装进客户基础设施的可观测性工具,必须能在对方内网运行。Langfuse 对自己的定位是开放、可自托管、可扩展,这恰好是客户安全团队最先会问的三点。

trace 记录的不只是 LLM 调用

根据 Langfuse 文档,应用追踪会记录一个请求在系统中流转的完整生命周期:提示词、响应、消耗的 token 和延迟。更重要的是,trace 还覆盖非 LLM 调用的步骤:检索、嵌入和 API 调用。在检索增强生成(RAG)应用里,故障往往就藏在这些地方。

假设你在为一家银行部署内部政策助手。用户反映,关于信用额度的回答是错的。如果只看提示词和响应,你会以为是模型在胡编,于是开始改提示词。

在 Langfuse 里打开 trace,情况可能完全不同:嵌入步骤运行正常,检索返回了五段文字,但没有一段包含新的信用额度表。问题出在索引过期,而不是提示词。你十分钟就能给客户答复,而不是在无谓的提示词实验上浪费一整天。

前提是 SDK 已经接入生产环境,而客户的平台团队会在这里担心性能。Langfuse 文档写得很明确:trace 事件先在本地排队,再批量发送,不会影响应用的响应时间。架构评审时,你要准备好的就是这句话。

你发送的数字优先于 Langfuse 推算的数字

“要花多少钱?”听起来简单,但有两种回答方式,Langfuse 都支持。应用可以直接发送用量和成本;如果没有发送,Langfuse 会根据模型定义推算,模型定义里带有按用量类型划分的价格。

关键规则是:两者同时存在时,发送的值优先于推算的值。

由应用发送成本

  • 数字由你掌控,包括协议价或微调模型
  • 发生冲突时始终优先
  • 需要在应用端写代码计算并附上用量

让 Langfuse 推算

  • 无需改动应用,只需带价格的模型定义
  • 数字的准确度取决于你加载的价格表
  • 适合公开定价、广泛使用的模型

建议是:如果客户使用的是私有合同下的模型,从第一天起就由应用发送成本,因为推算的数字一定不准,财务拿它和发票对账时,你会失去信誉。如果用的是广泛可用的模型,在给任何人看仪表盘之前,先检查模型定义。

给生产环境打分,再用 CI 拦住回归

第三个问题最难:系统有没有变好?Langfuse 可以用 LLM-as-a-judge 自动给生产环境中的实时 trace 打分,让你持续掌握质量,而不必等用户投诉。但分数只有推动行动才有意义。

在客户现场,一个合理的闭环是这样的:凡是得分低的 trace,都放进一个测试用例数据集。每次修改提示词或检索策略,都用这个数据集跑一次实验。根据文档,实验可以直接在 CI 中运行,在代码进入生产环境之前发现回归。

为了让这些改动足够安全,Langfuse 还提供提示词管理:提示词有版本,按标签部署。

这样,“改提示词”就不再是高风险操作,而是一次有版本号、有前后分数对比的变更。由于生产环境指向的是标签而不是某个固定的提示词,回滚只需把标签重新指向上一个版本。

事先说清楚的局限

Langfuse 不会替你做判断。评判者本身是 LLM,它给的分数需要有人定期抽样阅读来核实。把它当作警示灯,而不是结论。推算的成本也完全取决于你配置的价格表。

许可证方面,有一个节点需要知道。2026 年 1 月 16 日,Langfuse 在博客上宣布被 ClickHouse 收购。Langfuse 表示会继续坚持开源和自托管,没有计划更改许可证;ClickHouse 则表示核心功能将继续采用 MIT 许可证。

这一承诺针对的是“核心功能”,所以在向客户做承诺之前,要仔细看清哪些算核心。你装进客户基础设施的工具,寿命必须比你的合同更长。

运维方面,ClickHouse 提到 Langfuse 本来就构建在 ClickHouse 之上。如果选择自托管,就要准备在客户基础设施里多运维一套存储系统,并和对方团队讲清楚由谁负责。

先学什么

从 trace 的概念开始:一个请求是一串步骤,每一步都有自己的输入、输出、耗时和成本。把 SDK 接入一个自己的小型 RAG 应用,跑几十个问题,反复练习读 trace,直到你发现检索故障比发现提示词故障更快。然后再学数据集、实验和 CI。

简历上不要写“熟悉 Langfuse”。要写你为一个 LLM 应用部署了可观测性:覆盖每个步骤的完整追踪、与发票对账的成本、在 CI 中运行的测试集。FDE 招聘经理看到这一行,就知道这个人能站在客户面前。

一切正常时,没人会提起 Langfuse。但当系统在某个重要数字上出错的那天,手里握着 trace 的人,才能保住合同。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量《精益数据分析》教 FDE 只盯一个指标,再适时换掉这本写给创业者的书同样适用于客户部署:用一个数字指引工作,并在每个阶段换掉它。