# LLM 可观测性工具怎么选，先看客户数据能去哪

> 四款工具都能记录 LLM 调用，但对数据去向、代码改动和客户顾虑的假设各不相同。

原文: https://fdetimes.net/zh/analysis/choose-llm-observability-tool-by-constraints/

在基于 OpenAI 兼容 SDK 构建的应用里接入 Helicone，只需要一行：把 base URL 指向 `ai-gateway.helicone.ai`。这样的速度很诱人。但同样这一行也意味着，客户的用户发出的每条提示词、收到的每条响应，从此都要经过一个客户无法掌控的网关。

所以，“LangSmith、Arize、Helicone 还是 PostHog？”这个问题通常问错了地方。四款工具都能记录 LLM 调用。它们的差别在于，各自默认假设了什么样的客户：客户允许数据去哪里，愿意改多少代码，真正担心的又是什么。

这正是前线部署工程师（FDE）的工作。你不是在写工具测评，而是坐在客户的会议室里，只有几次会议的时间来做决定。约束读对了，第一次就能选对工具；读错了，三周后你就得把它拆掉换别的，而那时客户才刚开始信任你。

## 为什么人工监控行不通

IBM 将 LLM 可观测性定义为从 LLM 应用中收集指标、trace 和日志。IBM 还认为，人工监控耗费人力、容易出错，而且无法扩展。

请求量小的时候，试点团队打开日志文件逐行查看，还能应付。到了生产环境，这种做法就撑不住了，正如 IBM 所警告的那样。

JetBrains 给出了一个有用的区分：评测回答的是 Agent *能不能*完成任务，可观测性回答的是 Agent *有没有在*完成任务。客户通常只担心其中一个。

JetBrains 还强调，对 Agent 而言，trace 必须沿着推理链路记录每一步、每一次工具调用和每一次观察，只记录最终输出是不够的。设想一个六步的订单查询 Agent，第三步调用了错误的工具。

如果只记录最终答案，你只知道客户拿到了错误的回答，却不知道原因。

## 客户的数据可以存在哪里？

这个问题排除的选项比其他任何问题都多，所以要最先问。银行或医院可能不允许包含客户信息的提示词离开自己的基础设施；电商初创公司可能几乎不在意。

LangSmith 可以在云端、混合和自托管三种部署方式中选择。对有数据驻留要求的客户来说，这是很大的优势。

Arize 的解决思路不同。Arize AX 是它的商业平台，而 AX 文档本身就链接到了该公司的开源产品 Phoenix。如果客户不能用 SaaS，先试试 Phoenix，再下结论说必须自研工具。

Helicone 处在另一端。它的快速入门把 Helicone 作为网关放在请求链路中间，同时打包了日志、可观测性和多个提供商之间的故障切换（fallback）。面对有限制的客户，你的首要任务是问安全团队是否接受外部网关。快速集成是之后的事。

## 网关还是插桩：工具处在什么位置？

网关和插桩的优缺点几乎正好相反。网关几乎不用改代码，换个 base URL 就行，但它直接处在每个请求的路径上。插桩要改动更多代码，但它不会横在应用和提供商之间。

不要以为插桩就更安全。发往 LangSmith 云端或 Arize SaaS 的 trace 同样包含提示词和输出，PostHog 也说明了它会为每次生成采集完整的对话上下文。数据走的路线不同，但离开客户基础设施的数据一点也不少。

Arize AX 为 30 多个提供商和框架提供自动插桩，能大幅减少代码改动。遇到混用多个框架的代码库时，这一点很重要。在你到来之前已经做过几轮实验的客户那里，这种情况很常见。

Helicone 的网关还能提供插桩做不到的东西：提供商之间的故障切换。根据快速入门，Helicone 的额度模式按提供商原价计费，“0% markup”，客户也可以使用自己的提供商密钥。对于想快速拿到日志、又希望某个提供商宕机时有备份的初创公司，这是务实的选择。

## 客户想回答什么问题？

到这里，JetBrains 对评测与可观测性的区分就变得具体了。Arize 把 AX 描述为用于追踪、评测和运行实验的 AI 工程平台，范围比日志工具更广。LangSmith 则强调能看清整个应用，从单条 trace 到生产环境的全局指标，并配有仪表盘和告警。

PostHog 走的是另一条路。每次 LLM 调用都记录为一次 generation，包含完整的对话上下文、工具调用、token 数和延迟，成本根据模型定价自动计算。这些数据和产品分析数据放在一起，你可以把用户行为和模型行为关联起来。

假设客户是一家已经用 PostHog 衡量转化漏斗的电商公司。他们关心的不是 Agent 在第四步推理得对不对，而是和机器人聊过天的用户是否买得更多，以及每笔订单要花多少 token。对这样的客户，再加一个工具可能只会让数据更分散。

| 客户约束 | 优先尝试的工具 | 现场要确认的事 |
|---|---|---|
| 数据不能离开基础设施 | 自托管 LangSmith 或 Phoenix | 客户的运维团队是否有人力来运行和维护 |
| 想在一次会议内拿到日志，代码改动最少 | Helicone 网关 | 安全团队是否接受流量经过网关 |
| 代码库混用多个框架 | 使用自动插桩的 Arize AX | 客户用的框架是否在支持的 30 多个之列 |
| 需要评测和实验，而不只是日志 | Arize AX | 客户是真的需要知道 Agent 能否完成任务，还是只需要知道它是否在运行 |
| 已在用 PostHog，关心用户行为和成本 | PostHog LLM analytics | Agent 越来越复杂时，trace 能否展示足够的逐步细节 |

**要点:** 功能对比表告诉你工具能做什么。客户的约束告诉你哪个工具被允许进入他们的系统。

## 需求调研会上该问什么

问题的顺序和内容同样重要。先问数据，因为答案可能一下子排除一半选项。再问客户愿意改多少代码。最后才问他们想衡量什么：Agent 能否完成任务，Agent 是否在完成任务，还是用户是否从中受益。

常见的陷阱是为客户从没问过的问题选了最强大的工具。如果客户只需要在 token 成本飙升时收到告警，一个完整的评测与实验平台反而会成为负担。

反过来，如果客户正被一个多步 Agent 折磨，而它总在没人看得见的地方出错，一个简单的日志网关就不够用了。

## 在越南，数据问题通常排在第一位

如果你的客户来自金融、电信或公共部门，“数据存在哪里？”很可能是第一个被提出的问题。这时，亲手运行过自托管可观测性工具的工程师，比只会用 SaaS 版本的工程师有明显优势。

简历上不要写“熟悉 LangSmith”，而要写成一次决策：在什么约束下选了哪个工具，它帮你发现了什么故障。

阅读 FDE 岗位描述时，留意“on-prem”“data residency”“agent reliability”这类说法。它们会告诉你，这家公司的客户面临的是三个约束中的哪一个。

这四款工具的功能会变，名字会变，甚至可能合并。但关于数据、系统中的位置、客户需要知道什么这三个问题不会变。懂得问这三个问题的人，就能选对工具，包括那些明年才会出现的工具。

**本周动手试试:**

- 找一个自己写的小型 LLM 应用，把 base URL 切换到 Helicone 网关，看看你的一个请求被记录了哪些内容、经过了哪些地方。
- 在本地安装 Arize 的开源 Phoenix，追踪一个至少包含两次工具调用的 Agent，确认能否看到每一步。
- 起草一份包含五个问题的数据约束清单，用于第一次客户需求调研会，然后把它作为真实的工作成果放进作品集。

## 信源

- [LangSmith docs (home)](https://docs.langchain.com/langsmith/home)

- [Arize AX Docs](https://arize.com/docs/ax)

- [Helicone Docs - Quick Start](https://docs.helicone.ai/getting-started/quick-start)

- [Getting started with LLM analytics - PostHog](https://posthog.com/docs/llm-analytics/start-here)

- [LLM Evaluation and AI Observability for Agent Monitoring (JetBrains PyCharm blog)](https://blog.jetbrains.com/pycharm/2026/05/llm-evaluation-and-ai-observability-for-agent-monitoring/)

- [What is LLM observability? (IBM)](https://www.ibm.com/think/topics/llm-observability)
