Agent 仪表盘全绿,客户却仍不满意
完成率、工具错误、步数和升级率从第一周就能测,能把模糊抱怨变成修复清单。
要点速览
- 基础设施的延迟和错误率只能说明机器在运行,不能说明任务已完成;结果层才是主要的质量信号。
- 按工具拆分错误率:整体 2% 可能掩盖了某个工具 14% 的失败率。
- 步数远高于正常水平,说明 Agent 陷入了循环;升级率要和升级原因放在一起看。
处理退款的 Agent 已在客户那里上线两周。仪表盘一片绿:延迟稳定,服务器没有报错,吞吐量平稳。可到了周一早上,客服负责人打来电话:“我的员工要返工 Agent 创建的一半工单。”
几乎每个前线部署工程师(FDE)迟早都会遇到这种情况。系统没有崩溃,只是在悄悄做错事。你跟踪的是机器有没有在跑,客户问的是活有没有干完。
本文介绍如何用四个数字回答第二个问题:完成率、工具错误、步数和升级率(转交人工处理的比例)。这四个数字从部署第一周就能测量,能把模糊的抱怨变成一份待修复清单。
机器健康不等于工作完成
New Relic 把 Agent 监控分为三个视角。运行层包括延迟、错误、吞吐量和依赖健康状况,也就是基础设施仪表盘已经展示的内容。行为层包括提示词、模型响应、工具调用、重试、token 用量和交接。结果层包括任务完成率、需要人工纠正的次数以及升级率。
上面的退款 Agent 在第一层拿了满分,在第三层却不及格。Blaxel 把任务完成率视为首要的质量信号,说得很直白:当这个比率从 85% 掉到 60%,即使基础设施看起来一切正常,你也知道某处出了问题。
汇总数字是个老陷阱
学过机器学习的人都见过准确率陷阱。Google 的 ML Crash Course 举过一个例子:在不平衡数据上,一个永远预测“负类”的模型依然能达到 99% 的准确率,却毫无用处。Google 的建议是,不平衡数据不要用准确率,并选择其他补充指标。
汇总的工具错误率有完全相同的问题,因为工具调用在各个工具之间同样分布不均。假设一周内 Agent 共调用工具 4,000 次:tra_cuu_don(查询订单)工具占 3,500 次,失败 10 次;tao_phieu_hoan_tien(创建退款工单)工具只有 500 次,却失败了 70 次。合计 4,000 次调用出错 80 次,即 2%,听上去很让人放心。
拆开来看,情况就变了。查询工具的失败率约 0.3%,创建工单工具的失败率是 14%,而这恰恰是为客户创造价值的那一步。这就是 Blaxel 建议跟踪系统中每个工具调用成功率、而不只看整体数字的原因。
每次运行一条 JSON 记录
要按工具、任务类型和升级原因拆分数据,从写日志的那一刻起就需要结构化数据。Cloud Logging 称之为结构化日志:载荷是一个 JSON 对象,存放在 jsonPayload 字段中。好处是可以按单个 JSON 路径查询,并为特定字段建立索引。
对退款 Agent 来说,每次运行的记录可以是这样:
{
"run_id": "r-8812",
"task_type": "hoan_tien",
"outcome": "escalated",
"escalation_reason": "tool_error",
"steps": 7,
"tool_calls": [
{"tool": "tra_cuu_don", "ok": true, "latency_ms": 320},
{"tool": "tao_phieu_hoan_tien", "ok": false, "error": "timeout"}
],
"tokens": 5400
}
仅这一条记录就足以算出全部四个数字。outcome 给出完成率和升级率,tool_calls[].ok 给出每个工具的错误,steps 给出步数。在 Cloud Logging 中,用 jsonPayload.outcome="escalated" 这样的查询就能筛出所有转交人工的运行,再按 escalation_reason 分组。
如果客户已经有可观测性技术栈,不要再强加一套工具。OpenTelemetry 是一个开放协议,用于从生产系统发送日志、指标和链路追踪数据,不会把你锁定在单一厂商上。
OpenLLMetry 是一个开源项目,针对 LLM 应用扩展了 OpenTelemetry,能看到提示词和向量数据库的情况,并把链路追踪数据导出到客户已在使用的任何可观测性技术栈。
解读同一周的四个数字
继续这个假设的例子:这一周共有 1,000 次运行。700 次以 completed 状态结束,200 次升级给人工,100 次因触及步数上限而放弃。完成率为 70%,升级率为 20%。
20% 这个数字本身说明不了好坏,关键在于升级的原因。如果这 200 次运行中大多数的 escalation_reason 是 tool_error,问题就出在创建工单的工具上,修好超时就能提升完成率。
如果原因是“请求超出退款额度”,那 Agent 正是在做该做的事;一个从不升级的 Agent 才真正值得担心。
触及步数上限的 100 次运行是另一个信号。Blaxel 把无限循环描述为:Agent 不断重试同一种做法,却丝毫没有接近目标。
如果大多数运行在 4 步左右结束,而有一组攀升到 15 步,就打开这组的链路追踪:很可能 Agent 每次超时后都在重新调用创建工单的工具。
至此,三个数字指向同一处。14% 的工具错误率造成了大部分升级和漫长的重试循环,两者又一起拉低了完成率。给客服负责人回电话时,你不必再说“我们正在排查”,而是已经有了原因和修复方案。
从零搭建的五个步骤
第一步发生在与客户沟通时,而不是在代码里。其余步骤可以当作检查清单:
- 与客户约定“完成”的含义。对退款来说,可以是工单创建正确、员工无需修改,因为 New Relic 把人工纠正次数归入结果层。把这个定义写下来,否则双方会各自理解。
- 确定一次运行的 JSON schema,如上例所示,并为
outcome和escalation_reason规定固定的取值列表。 - 在每次运行结束时写日志,包括失败的运行,因为缺失的那些运行往往正是出问题的。
- 搭建一个四面板的仪表盘,按
task_type和工具拆分。 - 为完成率和最大步数设置告警阈值。
运行稳定后,再加一个签合同的人能听懂的数字。Blaxel 建议使用单次成功结果成本,这个指标把基础设施成本和业务结果联系起来。它很容易计算,因为记录中已同时包含 tokens 和 outcome。
常见错误
最常见的错误是只记录运行层,因为现成的工具已经在那里,就以为这算是监控了 Agent。第二个错误是报告汇总的工具错误率,正如上文 2% 与 14% 的计算。第三个错误是记录自由文本字符串,等到需要按字段计数时,只能一边让客户等着,一边写正则表达式。
还有一个更隐蔽的错误:把升级率当作必须不惜代价压低的指标。压得太狠,Agent 就会开始处理本不该碰的案例;升级率看起来更好看了,员工需要纠正的次数却在上升。
求职时如何展示这项技能
阅读 FDE 或 AI 工程师岗位的职位描述时,留意 observability、OpenTelemetry、tracing 或 evaluation in production 等字眼。看到这些词,就为面试准备一个具体的故事,讲你是如何衡量一个 Agent 的。
在简历上,“为 Agent 设计日志 schema,按工具拆分错误率,定位出造成大部分升级的工具”这样的一行,远比“有 LLM 相关经验”有分量。
下次客户打电话说 Agent 出错了,你的第一个问题不应是“bug 在哪?”,而应是“那些运行的记录里,哪个字段能告诉我答案?”
这篇文章对你有帮助吗?
感谢你的反馈!
6 个信源
- Classification: Accuracy, recall, precision, and related metrics (Google ML Crash Course) · 2026-01-12
- Structured logging (Cloud Logging documentation) · 2026-10-06
- Introducing OpenLLMetry — Extending OpenTelemetry to LLMs · 2023-10
- What is OpenLLMetry? - traceloop
- A Production Monitoring Blueprint for AI Agents (New Relic)
- AI observability: How to monitor production agents safely (Blaxel) · 2026-01-28