FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

Agent 仪表盘全绿,客户却仍不满意

完成率、工具错误、步数和升级率从第一周就能测,能把模糊抱怨变成修复清单。

分享微博

要点速览

  • 基础设施的延迟和错误率只能说明机器在运行,不能说明任务已完成;结果层才是主要的质量信号。
  • 按工具拆分错误率:整体 2% 可能掩盖了某个工具 14% 的失败率。
  • 步数远高于正常水平,说明 Agent 陷入了循环;升级率要和升级原因放在一起看。
比较工具错误率的横向条形图。汇总来看,4,000 次调用出错 80 次,即 2%。按工具拆分:tra_cuu_don 调用 3,500 次、出错 10 次,约 0.3%;tao_phieu_hoan_tien 调用 500 次、出错 70 次,即 14%,以橙色突出显示,并标注为为客户创造价值的步骤。
汇总的 2% 看起来让人放心,但按工具拆分后,创建退款工单的工具失败率高达 14%(假设示例)。

处理退款的 Agent 已在客户那里上线两周。仪表盘一片绿:延迟稳定,服务器没有报错,吞吐量平稳。可到了周一早上,客服负责人打来电话:“我的员工要返工 Agent 创建的一半工单。”

几乎每个前线部署工程师(FDE)迟早都会遇到这种情况。系统没有崩溃,只是在悄悄做错事。你跟踪的是机器有没有在跑,客户问的是活有没有干完。

本文介绍如何用四个数字回答第二个问题:完成率、工具错误、步数和升级率(转交人工处理的比例)。这四个数字从部署第一周就能测量,能把模糊的抱怨变成一份待修复清单。

机器健康不等于工作完成

New Relic 把 Agent 监控分为三个视角。运行层包括延迟、错误、吞吐量和依赖健康状况,也就是基础设施仪表盘已经展示的内容。行为层包括提示词、模型响应、工具调用、重试、token 用量和交接。结果层包括任务完成率、需要人工纠正的次数以及升级率。

上面的退款 Agent 在第一层拿了满分,在第三层却不及格。Blaxel 把任务完成率视为首要的质量信号,说得很直白:当这个比率从 85% 掉到 60%,即使基础设施看起来一切正常,你也知道某处出了问题。

汇总数字是个老陷阱

学过机器学习的人都见过准确率陷阱。Google 的 ML Crash Course 举过一个例子:在不平衡数据上,一个永远预测“负类”的模型依然能达到 99% 的准确率,却毫无用处。Google 的建议是,不平衡数据不要用准确率,并选择其他补充指标。

汇总的工具错误率有完全相同的问题,因为工具调用在各个工具之间同样分布不均。假设一周内 Agent 共调用工具 4,000 次:tra_cuu_don(查询订单)工具占 3,500 次,失败 10 次;tao_phieu_hoan_tien(创建退款工单)工具只有 500 次,却失败了 70 次。合计 4,000 次调用出错 80 次,即 2%,听上去很让人放心。

拆开来看,情况就变了。查询工具的失败率约 0.3%,创建工单工具的失败率是 14%,而这恰恰是为客户创造价值的那一步。这就是 Blaxel 建议跟踪系统中每个工具调用成功率、而不只看整体数字的原因。

每次运行一条 JSON 记录

要按工具、任务类型和升级原因拆分数据,从写日志的那一刻起就需要结构化数据。Cloud Logging 称之为结构化日志:载荷是一个 JSON 对象,存放在 jsonPayload 字段中。好处是可以按单个 JSON 路径查询,并为特定字段建立索引。

对退款 Agent 来说,每次运行的记录可以是这样:

{
  "run_id": "r-8812",
  "task_type": "hoan_tien",
  "outcome": "escalated",
  "escalation_reason": "tool_error",
  "steps": 7,
  "tool_calls": [
    {"tool": "tra_cuu_don", "ok": true, "latency_ms": 320},
    {"tool": "tao_phieu_hoan_tien", "ok": false, "error": "timeout"}
  ],
  "tokens": 5400
}

仅这一条记录就足以算出全部四个数字。outcome 给出完成率和升级率,tool_calls[].ok 给出每个工具的错误,steps 给出步数。在 Cloud Logging 中,用 jsonPayload.outcome="escalated" 这样的查询就能筛出所有转交人工的运行,再按 escalation_reason 分组。

如果客户已经有可观测性技术栈,不要再强加一套工具。OpenTelemetry 是一个开放协议,用于从生产系统发送日志、指标和链路追踪数据,不会把你锁定在单一厂商上。

OpenLLMetry 是一个开源项目,针对 LLM 应用扩展了 OpenTelemetry,能看到提示词和向量数据库的情况,并把链路追踪数据导出到客户已在使用的任何可观测性技术栈。

解读同一周的四个数字

继续这个假设的例子:这一周共有 1,000 次运行。700 次以 completed 状态结束,200 次升级给人工,100 次因触及步数上限而放弃。完成率为 70%,升级率为 20%。

20% 这个数字本身说明不了好坏,关键在于升级的原因。如果这 200 次运行中大多数的 escalation_reason 是 tool_error,问题就出在创建工单的工具上,修好超时就能提升完成率。

如果原因是“请求超出退款额度”,那 Agent 正是在做该做的事;一个从不升级的 Agent 才真正值得担心。

触及步数上限的 100 次运行是另一个信号。Blaxel 把无限循环描述为:Agent 不断重试同一种做法,却丝毫没有接近目标。

如果大多数运行在 4 步左右结束,而有一组攀升到 15 步,就打开这组的链路追踪:很可能 Agent 每次超时后都在重新调用创建工单的工具。

至此,三个数字指向同一处。14% 的工具错误率造成了大部分升级和漫长的重试循环,两者又一起拉低了完成率。给客服负责人回电话时,你不必再说“我们正在排查”,而是已经有了原因和修复方案。

从零搭建的五个步骤

第一步发生在与客户沟通时,而不是在代码里。其余步骤可以当作检查清单:

  1. 与客户约定“完成”的含义。对退款来说,可以是工单创建正确、员工无需修改,因为 New Relic 把人工纠正次数归入结果层。把这个定义写下来,否则双方会各自理解。
  2. 确定一次运行的 JSON schema,如上例所示,并为 outcome 和 escalation_reason 规定固定的取值列表。
  3. 在每次运行结束时写日志,包括失败的运行,因为缺失的那些运行往往正是出问题的。
  4. 搭建一个四面板的仪表盘,按 task_type 和工具拆分。
  5. 为完成率和最大步数设置告警阈值。

运行稳定后,再加一个签合同的人能听懂的数字。Blaxel 建议使用单次成功结果成本,这个指标把基础设施成本和业务结果联系起来。它很容易计算,因为记录中已同时包含 tokens 和 outcome。

常见错误

最常见的错误是只记录运行层,因为现成的工具已经在那里,就以为这算是监控了 Agent。第二个错误是报告汇总的工具错误率,正如上文 2% 与 14% 的计算。第三个错误是记录自由文本字符串,等到需要按字段计数时,只能一边让客户等着,一边写正则表达式。

还有一个更隐蔽的错误:把升级率当作必须不惜代价压低的指标。压得太狠,Agent 就会开始处理本不该碰的案例;升级率看起来更好看了,员工需要纠正的次数却在上升。

求职时如何展示这项技能

阅读 FDE 或 AI 工程师岗位的职位描述时,留意 observability、OpenTelemetry、tracing 或 evaluation in production 等字眼。看到这些词,就为面试准备一个具体的故事,讲你是如何衡量一个 Agent 的。

在简历上,“为 Agent 设计日志 schema,按工具拆分错误率,定位出造成大部分升级的工具”这样的一行,远比“有 LLM 相关经验”有分量。

下次客户打电话说 Agent 出错了,你的第一个问题不应是“bug 在哪?”,而应是“那些运行的记录里,哪个字段能告诉我答案?”

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 6: 价值度量一致率 90% 的评判模型,却一个错误答案都没抓到评测数字要赢得客户信任,评判模型须按客户最好的领域专家校准,并分别衡量 TPR 与 TNR。