只看错误率，找不到 Agent 坏在哪一步

一个客服 Agent 在 100 个问题里答错了 30 个。光看这个数字，不知道该修什么：可能是路由器选错了技能，也可能路由器选对了，技能却把事情办砸了。Evaluating AI Agents 是 DeepLearning.AI 与 Arize AI 合作推出的短课程，教的正是如何找出错误出在哪里。

DeepLearning.AI 于 2025 年 2 月 19 日在其社区网站发布了这门课程。授课的是 Arize AI 的两位成员：开发者关系负责人 John Gilhuly 和产品总监 Aman Khan。

对前线部署工程师（FDE）来说，这门课的价值不在工具，而在思路：当 Agent 在客户现场出了问题、所有人都等你解释原因时，你需要的正是这种思考方式。

课程教什么，适合谁？

贯穿整门课程的主线是：Agent 要在两个层面上评测，一是每个组件单独评测，二是从头到尾的完整流程。针对每个组件，选择合适的评估器、测试样例和指标，然后在开发阶段和上线到生产环境之后持续迭代改进。

评估器主要有两种形式：用代码编写，或者采用 LLM-as-a-Judge。课程还教两项配套技能：一是加入可观测性（链路追踪），看清 Agent 走过的每一步，便于调试；二是把评测组织成实验，同时提升输出质量和轨迹（trajectory），也就是 Agent 得出答案所经过的步骤序列。

入门门槛很低。只需要基础 Python；有给 LLM 写提示词的经验更好，但不是必需。配套的 GitHub 仓库由 ksm26 维护（并非 DeepLearning.AI 官方页面），仓库将其描述为一门动手实践课程，学员要用真实样例测试技能、路由决策等子组件。

思路一：把路由错误和执行错误分开

回到那个 100 个问题答错 30 个的 Agent。这是一个用来说明方法的假设示例。假设这个 Agent 有三个技能：订单查询、退款处理和政策问答。

Arize AX 文档介绍路由器评测时，从一个简单的问题出发：对于这条输入，路由器选对技能了吗？假设你发现路由器在 85 条查询上选对了，那么就有 15 条查询错在路由这一步。

评测技能时，Arize 文档建议以技能被正确调用为前提，因此只在这 85 条查询上给技能打分。如果其中 70 条结果良好，剩下的 15 条就是执行错误。30% 的错误率由此拆成两组，各 15 条，每组需要完全不同的修法。

对于路由错误，首先可以尝试把技能描述写得更清楚，或者给路由器更多示例。执行错误则在技能内部：提示词、工具，或者技能检索的数据。如果只看端到端错误率，很容易花一周时间调路由器的提示词，而技能内部的那部分错误纹丝未动。

思路二：按任务选评估器

配套仓库列出了三类评估器：基于代码的指标、LLM-as-a-judge 和人工标注。上面的例子说明，每一类适合不同的任务。评测路由器只需把它选择的技能名和正确答案比对，所以一个基于代码的匹配函数就够了：便宜、快速，而且每次运行结果一致。

评测一个关于退款政策的回答要难得多，因为没有唯一的标准答案可供比对。这时就要用 LLM-as-a-Judge。但未经验证的评判模型还不可信，所以人工标注是第三层。

请客户方的领域专家手工给几十条查询打分，再把他们的分数和评判模型的分数对比。在 FDE 项目中，这一步还有一个额外好处：客户参与定义了什么叫“正确”，因此更愿意信任这套评测。

思路三：先链路追踪，再做实验

看不到路由器选了什么，就无法评测路由器。所以可观测性是上述一切的前提，而不是锦上添花。

每一步都有链路追踪之后，每次改提示词或换模型，都在同一组样例上重跑一遍，作为一次实验。这样就能把新版本的输出和轨迹与旧版本并排对比，而不是靠肉眼估计。

到了客户现场，第一件事是在修任何东西之前先打开链路追踪，因为没有追踪数据，任何关于失败原因的结论都只是猜测。

学这门课之前，先检查自己有没有犯下面这些错误。它们都直接来自课程的方法：

常见错误	正确做法
只跟踪端到端错误率	分别评测路由器和每个技能，同时仍要测量完整流程
在路由器已经选错的查询上评测技能	只在路由器选对的查询上评测技能
用 LLM-as-a-Judge 比对技能名	写一个基于代码的匹配函数
不加检验就相信评判模型的分数	与几十条人工打分的查询对比
改了提示词就肉眼看几条查询	在同一组样例上跑实验，对比修改前后

一个小练习：沿用上面 100 条查询的例子，假设你重写技能描述后，路由器在 95 条查询上选对，技能把其中 80 条处理得很好。重新计算路由错误和执行错误。答案是 5 和 15：总错误率下降了，但技能内部的错误一点没动。

什么时候学，怎么写进简历

这门课适合已经亲手搭过简单 Agent、看得到它在出错却不知道错在哪里的工程师。如果你从没写过带路由器的 Agent，先搭一个小的，因为手头有自己的真实失败案例可以分析时，这些练习的意义会大得多。

学完之后，读一读 Arize AX 文档中的 Agent 评测部分，巩固“路由器与技能分开评测”这条原则。

求职方面，读 FDE 岗位描述时，留意“evals”“observability”“production monitoring”这类字眼，它们说明招聘团队需要的正是这项技能。简历上不要只写“完成了一门评测课程”，而要写你把 Agent 的错误率拆成了路由错误和执行错误，并附上修复前后的数据。

客户不需要听 Agent 有多好。他们需要知道的是：它出错时，错在哪里，什么时候能修好。这门课帮你用数据回答第一个问题。