# 一门数据 Agent 课程，最长的一课讲的是评测

> 答案有数据依据也可能出错，DeepLearning.AI 与 Snowflake 的短课教你从 Agent 的计划里找错。

原文: https://fdetimes.net/zh/books-courses/building-evaluating-data-agents-course-review/

DeepLearning.AI 的 Building and Evaluating Data Agents 课程中，最长的一课并不教你怎么搭建 Agent。这一课名为“Measure Agent's GPA”，时长 29 分钟，教的是如何检查 Agent 是否完成了它要做的事。

时间怎么分配，很能说明课程的侧重点。对前线部署工程师（FDE）来说，做一个在演示中能跑通的数据问答 Agent 并不难。难的是向客户解释它为什么在周二给出了错误答案，并证明问题已经修好。

## 谁来讲，为什么这很重要

这是一门 Intermediate 难度的短课，时长 1h59m，由 DeepLearning.AI 与 Snowflake 合作制作。课程页面显示最近一次更新是 2026 年 8 月 31 日。课程包含 8 个视频、5 节代码课和 1 次计分测验。

两位讲师是 AI Research Lead Anupam Datta 和 Developer Advocate Josh Reini，都在 Snowflake 工作。也就是说，这是一家数据平台厂商在教你基于数据构建 Agent，所以要把方法和产品分开看。

入门门槛不高：具备 Python 和面向对象编程基础即可。对想转做 FDE、但从没搭过评测体系的软件工程师来说，这是个合适的起点。课程页面说明，新学习平台公测期间课程限时免费，结业证书则需要 PRO 订阅。

## 思路一：规划器与取数模块分开

课程里的 Agent 由多个专职子 Agent 组成，每个负责一个数据源，另有一个子 Agent 负责汇总或绘图。针对每个问题，由规划器决定调用哪些子 Agent、按什么顺序调用。

设想一位零售客户问：“为什么北区第三季度营收下降？”规划器调用 SQL 子 Agent 按区域取数，调用文档子 Agent 读取促销说明，再把所有结果交给汇总子 Agent。每一步都可能出错，也都可以单独度量。

这正是这种拆分在客户现场的价值。Agent 出错时，你能判断是规划器选错了数据源，还是某个子 Agent 写错了查询，而不是对着一大段提示词发呆。

## 思路二：有据可查的答案也可能是错的

输出评测采用 LLM 评判（LLM-as-a-judge），回答两个问题：答案与问题是否相关？是否基于检索到的数据？但回到上面的例子：假设 SQL 子 Agent 误把筛选条件写成了第二季度，而 Agent 忠实地汇总了取回的数据。

这个答案既相关又有据，却仍然是错的。GPA 框架（目标、计划、行动）正是为了抓住这类错误。它评测整个过程，检查目标、计划和行动三者是否彼此一致。

Snowflake 工程博客于 2025 年 11 月 4 日发布了 Agent GPA 框架，并把指标按两两配对分组。目标-行动一组包括答案正确性、答案相关性和有据性；目标-计划一组包括计划质量和工具选择；计划-行动一组包括计划遵循度和工具调用。如果下周就要交付一个数据问答 Agent，先从目标-行动这三项指标做起。

**要点:** 忠实于错误数据的答案，仍然是错误的答案。

## 思路三：让 Agent 在运行中自我评分

课程最后一部分讲内联评测。每次检索后，Agent 都会给刚取回的数据打一个相关性分数，并据此决定是否调整计划。在零售的例子里，低分可能促使 Agent 重新执行查询，而不是把第二季度的数据交给客户。

每次自检都会多一次评判调用，所以这项技术是用延迟换可靠性。对依据数字做决策的客户来说，这笔交换通常值得，但在生产环境开启之前应先度量。

一个简单的度量方法：用同一组真实问题跑两遍，一遍关闭内联评测，一遍开启。对每个问题，记录总运行时间、评判调用次数，以及 Agent 是否调整了计划。

然后比较两种配置的运行时间中位数和最慢一次，对照调整计划后挽回了多少问题，把这张表拿给客户做决定。

## 哪些可以跳过，按什么顺序学

最亮眼的 GPA 数据全部来自框架的构建者。Snowflake 博客称，标注员在 TRAIL/GAIA 上应用 GPA，发现了全部 570 个 Agent 内部错误。

Allison Sihan Jia 等人（包括 Anupam Datta）发表的 arXiv 论文 2510.08847 报告称，评判模型发现了 95% 的人工标注错误，并定位了其中 86%。

这些数据说明方法有一定依据，但不能证明它在你客户的数据上会有类似表现。同样，课程中与 Snowflake 平台深度绑定的部分，应当看作示例，而不是必选项。

比较合理的顺序是：先学课程，再读博客获取指标表；如果需要向客户的工程团队论证你的评测方案，再去读论文。

至于求职：当 FDE 岗位描述提到“evals”或“agents”时，一个在公开数据集上运行数据 Agent 的小仓库，加上一张按目标、计划、行动分类的错误表，远比简历上一行证书更有说服力。

演示让客户看到 Agent 能回答问题。评测套件让客户看到你知道它为什么会答错，而这才是客户续约的理由。

**本周动手试试:**

- 学完“Measure Agent's GPA”一课（29 分钟），然后为你正在做的 Agent 的一次运行写下目标、计划和行动
- 写出 20 个客户针对自己数据的真实问题，用三项指标给你的 Agent 打分：答案相关性、有据性和答案正确性
- 阅读 Snowflake 的 Agent GPA 博客文章和 arXiv 2510.08847 的摘要，与你现在的评测方式做对比

## 信源

- [Building and Evaluating Data Agents - DeepLearning.AI](https://www.deeplearning.ai/short-courses/building-and-evaluating-data-agents/)

- [What's Your Agent's GPA? A Framework for Evaluating AI Agent Reliability](https://www.snowflake.com/en/blog/engineering/ai-agent-evaluation-gpa-framework/)

- [What Is Your Agent's GPA? A Framework for Evaluating Agent Goal-Plan-Action Alignment](https://arxiv.org/abs/2510.08847)