FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

分析

LLM 可观测性工具怎么选,先看客户数据能去哪

四款工具都能记录 LLM 调用,但对数据去向、代码改动和客户顾虑的假设各不相同。

分享微博

要点速览

  • 按客户的约束选工具,而不是按功能对比表选。第一个约束永远是数据可以存在哪里。
  • Helicone 集成最快,只需改 base URL,但流量随后会经过 Helicone 的网关。LangSmith 提供自托管选项,Arize 则为不能用 SaaS 的客户提供开源的 Phoenix。
  • 对 Agent 来说,trace 必须记录每一步推理和每一次工具调用。只记录最终输出,Agent 出错时就无从知道是哪一步出了问题。
选择可观测性工具的三步示意图。第 1 步以橙色突出,问客户数据可以存在哪里:数据不能离开基础设施,就用自托管 LangSmith 或 Phoenix;客户接受 SaaS 或网关,就进入第 2 步。第 2 步问工具处在什么位置:想在一次会议内以少量代码改动拿到日志,用 Helicone 网关;代码库混用多个框架,用 Arize AX,它为 30 多个提供商和框架提供自动插桩。第 3 步问客户想回答什么问题:想知道 Agent 能否完成任务,用 Arize AX;想知道 Agent 是否在完成任务,用 LangSmith;想知道用户是否受益,用 PostHog。
先问数据,因为答案可能一下子排除一半选项。然后才问工具在系统中的位置,以及客户需要知道什么。

在基于 OpenAI 兼容 SDK 构建的应用里接入 Helicone,只需要一行:把 base URL 指向 ai-gateway.helicone.ai。这样的速度很诱人。但同样这一行也意味着,客户的用户发出的每条提示词、收到的每条响应,从此都要经过一个客户无法掌控的网关。

所以,“LangSmith、Arize、Helicone 还是 PostHog?”这个问题通常问错了地方。四款工具都能记录 LLM 调用。它们的差别在于,各自默认假设了什么样的客户:客户允许数据去哪里,愿意改多少代码,真正担心的又是什么。

这正是前线部署工程师(FDE)的工作。你不是在写工具测评,而是坐在客户的会议室里,只有几次会议的时间来做决定。约束读对了,第一次就能选对工具;读错了,三周后你就得把它拆掉换别的,而那时客户才刚开始信任你。

为什么人工监控行不通

IBM 将 LLM 可观测性定义为从 LLM 应用中收集指标、trace 和日志。IBM 还认为,人工监控耗费人力、容易出错,而且无法扩展。

请求量小的时候,试点团队打开日志文件逐行查看,还能应付。到了生产环境,这种做法就撑不住了,正如 IBM 所警告的那样。

JetBrains 给出了一个有用的区分:评测回答的是 Agent 能不能完成任务,可观测性回答的是 Agent 有没有在完成任务。客户通常只担心其中一个。

JetBrains 还强调,对 Agent 而言,trace 必须沿着推理链路记录每一步、每一次工具调用和每一次观察,只记录最终输出是不够的。设想一个六步的订单查询 Agent,第三步调用了错误的工具。

如果只记录最终答案,你只知道客户拿到了错误的回答,却不知道原因。

客户的数据可以存在哪里?

这个问题排除的选项比其他任何问题都多,所以要最先问。银行或医院可能不允许包含客户信息的提示词离开自己的基础设施;电商初创公司可能几乎不在意。

LangSmith 可以在云端、混合和自托管三种部署方式中选择。对有数据驻留要求的客户来说,这是很大的优势。

Arize 的解决思路不同。Arize AX 是它的商业平台,而 AX 文档本身就链接到了该公司的开源产品 Phoenix。如果客户不能用 SaaS,先试试 Phoenix,再下结论说必须自研工具。

Helicone 处在另一端。它的快速入门把 Helicone 作为网关放在请求链路中间,同时打包了日志、可观测性和多个提供商之间的故障切换(fallback)。面对有限制的客户,你的首要任务是问安全团队是否接受外部网关。快速集成是之后的事。

网关还是插桩:工具处在什么位置?

网关和插桩的优缺点几乎正好相反。网关几乎不用改代码,换个 base URL 就行,但它直接处在每个请求的路径上。插桩要改动更多代码,但它不会横在应用和提供商之间。

不要以为插桩就更安全。发往 LangSmith 云端或 Arize SaaS 的 trace 同样包含提示词和输出,PostHog 也说明了它会为每次生成采集完整的对话上下文。数据走的路线不同,但离开客户基础设施的数据一点也不少。

Arize AX 为 30 多个提供商和框架提供自动插桩,能大幅减少代码改动。遇到混用多个框架的代码库时,这一点很重要。在你到来之前已经做过几轮实验的客户那里,这种情况很常见。

Helicone 的网关还能提供插桩做不到的东西:提供商之间的故障切换。根据快速入门,Helicone 的额度模式按提供商原价计费,“0% markup”,客户也可以使用自己的提供商密钥。对于想快速拿到日志、又希望某个提供商宕机时有备份的初创公司,这是务实的选择。

客户想回答什么问题?

到这里,JetBrains 对评测与可观测性的区分就变得具体了。Arize 把 AX 描述为用于追踪、评测和运行实验的 AI 工程平台,范围比日志工具更广。LangSmith 则强调能看清整个应用,从单条 trace 到生产环境的全局指标,并配有仪表盘和告警。

PostHog 走的是另一条路。每次 LLM 调用都记录为一次 generation,包含完整的对话上下文、工具调用、token 数和延迟,成本根据模型定价自动计算。这些数据和产品分析数据放在一起,你可以把用户行为和模型行为关联起来。

假设客户是一家已经用 PostHog 衡量转化漏斗的电商公司。他们关心的不是 Agent 在第四步推理得对不对,而是和机器人聊过天的用户是否买得更多,以及每笔订单要花多少 token。对这样的客户,再加一个工具可能只会让数据更分散。

客户约束 优先尝试的工具 现场要确认的事
数据不能离开基础设施 自托管 LangSmith 或 Phoenix 客户的运维团队是否有人力来运行和维护
想在一次会议内拿到日志,代码改动最少 Helicone 网关 安全团队是否接受流量经过网关
代码库混用多个框架 使用自动插桩的 Arize AX 客户用的框架是否在支持的 30 多个之列
需要评测和实验,而不只是日志 Arize AX 客户是真的需要知道 Agent 能否完成任务,还是只需要知道它是否在运行
已在用 PostHog,关心用户行为和成本 PostHog LLM analytics Agent 越来越复杂时,trace 能否展示足够的逐步细节

需求调研会上该问什么

问题的顺序和内容同样重要。先问数据,因为答案可能一下子排除一半选项。再问客户愿意改多少代码。最后才问他们想衡量什么:Agent 能否完成任务,Agent 是否在完成任务,还是用户是否从中受益。

常见的陷阱是为客户从没问过的问题选了最强大的工具。如果客户只需要在 token 成本飙升时收到告警,一个完整的评测与实验平台反而会成为负担。

反过来,如果客户正被一个多步 Agent 折磨,而它总在没人看得见的地方出错,一个简单的日志网关就不够用了。

在越南,数据问题通常排在第一位

如果你的客户来自金融、电信或公共部门,“数据存在哪里?”很可能是第一个被提出的问题。这时,亲手运行过自托管可观测性工具的工程师,比只会用 SaaS 版本的工程师有明显优势。

简历上不要写“熟悉 LangSmith”,而要写成一次决策:在什么约束下选了哪个工具,它帮你发现了什么故障。

阅读 FDE 岗位描述时,留意“on-prem”“data residency”“agent reliability”这类说法。它们会告诉你,这家公司的客户面临的是三个约束中的哪一个。

这四款工具的功能会变,名字会变,甚至可能合并。但关于数据、系统中的位置、客户需要知道什么这三个问题不会变。懂得问这三个问题的人,就能选对工具,包括那些明年才会出现的工具。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量通过率是产品决策,应该由 FDE 来定“正确”一旦需要判断,就该由最贴近客户的人把它写成能运行的测试。