# Agent 仪表盘全绿，客户却仍不满意

> 完成率、工具错误、步数和升级率从第一周就能测，能把模糊抱怨变成修复清单。

原文: https://fdetimes.net/zh/guides/monitor-ai-agents-in-production/

处理退款的 Agent 已在客户那里上线两周。仪表盘一片绿：延迟稳定，服务器没有报错，吞吐量平稳。可到了周一早上，客服负责人打来电话：“我的员工要返工 Agent 创建的一半工单。”

几乎每个前线部署工程师（FDE）迟早都会遇到这种情况。系统没有崩溃，只是在悄悄做错事。你跟踪的是机器有没有在跑，客户问的是活有没有干完。

本文介绍如何用四个数字回答第二个问题：完成率、工具错误、步数和升级率（转交人工处理的比例）。这四个数字从部署第一周就能测量，能把模糊的抱怨变成一份待修复清单。

## 机器健康不等于工作完成

New Relic 把 Agent 监控分为三个视角。运行层包括延迟、错误、吞吐量和依赖健康状况，也就是基础设施仪表盘已经展示的内容。行为层包括提示词、模型响应、工具调用、重试、token 用量和交接。结果层包括任务完成率、需要人工纠正的次数以及升级率。

上面的退款 Agent 在第一层拿了满分，在第三层却不及格。Blaxel 把任务完成率视为首要的质量信号，说得很直白：当这个比率从 85% 掉到 60%，即使基础设施看起来一切正常，你也知道某处出了问题。

**要点:** 运行层告诉你 Agent 在运行；只有结果层能告诉你它是否把活干完了。

## 汇总数字是个老陷阱

学过机器学习的人都见过准确率陷阱。Google 的 ML Crash Course 举过一个例子：在不平衡数据上，一个永远预测“负类”的模型依然能达到 99% 的准确率，却毫无用处。Google 的建议是，不平衡数据不要用准确率，并选择其他补充指标。

汇总的工具错误率有完全相同的问题，因为工具调用在各个工具之间同样分布不均。假设一周内 Agent 共调用工具 4,000 次：`tra_cuu_don`（查询订单）工具占 3,500 次，失败 10 次；`tao_phieu_hoan_tien`（创建退款工单）工具只有 500 次，却失败了 70 次。合计 4,000 次调用出错 80 次，即 2%，听上去很让人放心。

拆开来看，情况就变了。查询工具的失败率约 0.3%，创建工单工具的失败率是 14%，而这恰恰是为客户创造价值的那一步。这就是 Blaxel 建议跟踪系统中每个工具调用成功率、而不只看整体数字的原因。

## 每次运行一条 JSON 记录

要按工具、任务类型和升级原因拆分数据，从写日志的那一刻起就需要结构化数据。Cloud Logging 称之为结构化日志：载荷是一个 JSON 对象，存放在 `jsonPayload` 字段中。好处是可以按单个 JSON 路径查询，并为特定字段建立索引。

对退款 Agent 来说，每次运行的记录可以是这样：

```json
{
  "run_id": "r-8812",
  "task_type": "hoan_tien",
  "outcome": "escalated",
  "escalation_reason": "tool_error",
  "steps": 7,
  "tool_calls": [
    {"tool": "tra_cuu_don", "ok": true, "latency_ms": 320},
    {"tool": "tao_phieu_hoan_tien", "ok": false, "error": "timeout"}
  ],
  "tokens": 5400
}
```

仅这一条记录就足以算出全部四个数字。`outcome` 给出完成率和升级率，`tool_calls[].ok` 给出每个工具的错误，`steps` 给出步数。在 Cloud Logging 中，用 `jsonPayload.outcome="escalated"` 这样的查询就能筛出所有转交人工的运行，再按 `escalation_reason` 分组。

如果客户已经有可观测性技术栈，不要再强加一套工具。OpenTelemetry 是一个开放协议，用于从生产系统发送日志、指标和链路追踪数据，不会把你锁定在单一厂商上。

OpenLLMetry 是一个开源项目，针对 LLM 应用扩展了 OpenTelemetry，能看到提示词和向量数据库的情况，并把链路追踪数据导出到客户已在使用的任何可观测性技术栈。

## 解读同一周的四个数字

继续这个假设的例子：这一周共有 1,000 次运行。700 次以 `completed` 状态结束，200 次升级给人工，100 次因触及步数上限而放弃。完成率为 70%，升级率为 20%。

20% 这个数字本身说明不了好坏，关键在于升级的原因。如果这 200 次运行中大多数的 `escalation_reason` 是 `tool_error`，问题就出在创建工单的工具上，修好超时就能提升完成率。

如果原因是“请求超出退款额度”，那 Agent 正是在做该做的事；一个从不升级的 Agent 才真正值得担心。

触及步数上限的 100 次运行是另一个信号。Blaxel 把无限循环描述为：Agent 不断重试同一种做法，却丝毫没有接近目标。

如果大多数运行在 4 步左右结束，而有一组攀升到 15 步，就打开这组的链路追踪：很可能 Agent 每次超时后都在重新调用创建工单的工具。

至此，三个数字指向同一处。14% 的工具错误率造成了大部分升级和漫长的重试循环，两者又一起拉低了完成率。给客服负责人回电话时，你不必再说“我们正在排查”，而是已经有了原因和修复方案。

## 从零搭建的五个步骤

第一步发生在与客户沟通时，而不是在代码里。其余步骤可以当作检查清单：

1. 与客户约定“完成”的含义。对退款来说，可以是工单创建正确、员工无需修改，因为 New Relic 把人工纠正次数归入结果层。把这个定义写下来，否则双方会各自理解。
2. 确定一次运行的 JSON schema，如上例所示，并为 `outcome` 和 `escalation_reason` 规定固定的取值列表。
3. 在每次运行结束时写日志，包括失败的运行，因为缺失的那些运行往往正是出问题的。
4. 搭建一个四面板的仪表盘，按 `task_type` 和工具拆分。
5. 为完成率和最大步数设置告警阈值。

运行稳定后，再加一个签合同的人能听懂的数字。Blaxel 建议使用单次成功结果成本，这个指标把基础设施成本和业务结果联系起来。它很容易计算，因为记录中已同时包含 `tokens` 和 `outcome`。

## 常见错误

最常见的错误是只记录运行层，因为现成的工具已经在那里，就以为这算是监控了 Agent。第二个错误是报告汇总的工具错误率，正如上文 2% 与 14% 的计算。第三个错误是记录自由文本字符串，等到需要按字段计数时，只能一边让客户等着，一边写正则表达式。

还有一个更隐蔽的错误：把升级率当作必须不惜代价压低的指标。压得太狠，Agent 就会开始处理本不该碰的案例；升级率看起来更好看了，员工需要纠正的次数却在上升。

## 求职时如何展示这项技能

阅读 FDE 或 AI 工程师岗位的职位描述时，留意 observability、OpenTelemetry、tracing 或 evaluation in production 等字眼。看到这些词，就为面试准备一个具体的故事，讲你是如何衡量一个 Agent 的。

在简历上，“为 Agent 设计日志 schema，按工具拆分错误率，定位出造成大部分升级的工具”这样的一行，远比“有 LLM 相关经验”有分量。

下次客户打电话说 Agent 出错了，你的第一个问题不应是“bug 在哪？”，而应是“那些运行的记录里，哪个字段能告诉我答案？”

**本周动手试试:**

- 选一个你正在做的 Agent（业余项目也算），为一次运行写一个 JSON schema，包含 run_id、task_type、outcome、escalation_reason、steps，以及带 ok 字段的 tool_calls 数组。
- 用测试数据把 Agent 运行 50 次，按 task_type 和工具分别计算这四个数字，再找出一个掩盖了问题的汇总数字。
- 把结果写成一小段话，放进简历或作品集：你测量了什么、发现了什么、修复了什么。

## 信源

- [Classification: Accuracy, recall, precision, and related metrics (Google ML Crash Course)](https://developers.google.com/machine-learning/crash-course/classification/accuracy)

- [Structured logging (Cloud Logging documentation)](https://docs.cloud.google.com/logging/docs/structured-logging)

- [Introducing OpenLLMetry — Extending OpenTelemetry to LLMs](https://www.traceloop.com/blog/openllmetry)

- [What is OpenLLMetry? - traceloop](https://www.traceloop.com/docs/openllmetry/introduction)

- [A Production Monitoring Blueprint for AI Agents (New Relic)](https://newrelic.com/info/blog/implementation-guide/we-re-about-to-launch-more-ai-agents-into-production-and-want-monitoring-in-place-before-something-g-b6100f)

- [AI observability: How to monitor production agents safely (Blaxel)](https://blaxel.ai/blog/ai-observability)
