# AI Evals 课程最值钱的一课：亲手读模型输出

> Maven 营收最高的课程已教过 5,000 多名工程师和 PM，核心观点是错误分析比任何评测工具都重要。

原文: https://fdetimes.net/zh/books-courses/hamel-husain-shreya-shankar-ai-evals-course/

Maven 上营收最高的课程，卖的并不是工具。在教过 5,000 多名工程师和产品经理（PM）之后，Hamel Husain 和 Shreya Shankar 在官方 FAQ 里用一句话概括：错误分析是评测中最重要的环节。不是仪表盘，不是 LLM 作为评判（LLM-as-judge），而是坐下来，把模型的输出一条条读完。

对想做前线部署工程师（FDE）的人来说，这是最关键的一点。Hamel 在他的 Field Guide 中写道，在人工评判 LLM 的输出之前，评测标准不可能完整定义。如果这一点成立，为客户部署 Agent 的工程师就不能等客户把标准交过来，而要自己读输出，自己找出标准。

找出 Agent 在哪里出错，再把发现变成客户信得过的评测集，正是这门课训练的能力。

## 这门课到底教什么

课程全名是“AI Evals For Engineers & PMs”，在 Maven 上以分期班的形式直播授课。Hamel Husain 自称是有 20 多年经验的 ML 工程师；Shreya Shankar 拥有 UC Berkeley 的 EECS 博士学位，将于 2027 年加入 CMU 任教。课程已有来自 500 多家公司的 5,000 多名学员，1,011 条评价的评分为 4.7。

它的承诺归结为一个循环：构建一个真实的 AI Agent，找出它出错的地方，再用可信的评测去改进它。学员能拿到 200 多页课程阅读材料、4 份附答案和讲解的作业、10 次以上的答疑时间（office hours），以及终身 Discord 访问权限。

录像永久保留，之后任何一期都可以免费重修。

标价 4,200 美元，对许多工程师来说不是小数目。所以更有用的问题是：它对你值不值？答案取决于你手上是否已经有产品在跑。

## 为什么要花钱学“看数据”

听起来理所当然。但常见做法恰恰相反：先挑评测框架，先写标准，再去跑。Hamel 在关于快速改进 AI 产品的 Field Guide 中明确表示，查看真实样例得到的洞察，任何东西都替代不了。

再结合“标准只在人工评判输出时才浮现”这一论点，就得到一种颠覆许多工程师习惯的思路：标准不是评测的输入，而是错误分析的产出。

**要点:** 评测标准是阅读真实数据的产出，而不是开始阅读之前就写好的东西。

设想你是一名 FDE，正在为一家物流公司部署工单回复 Agent。读 trace 之前，你猜主要问题是幻觉。读完之后，你可能发现 Agent 答案没错但语气不对，或者忽略了客户内部系统里的某个字段。这些问题不会出现在任何基准测试里，只有坐下来读的人才会发现。

## 谁该上，按什么顺序

课程页面说得很清楚：这是一门深度课程，不是 LLM 或提示工程的入门课，最好你已经在做东西。如果你还没有一个面向真实用户运行的 Agent，就先省下这笔钱。作业没有可以落地的对象，答疑时间也会变成听别人提问。

合理的顺序是先免费读，再付费。hamel.dev 上的 Field Guide 和 AI Evals FAQ 讲清了核心思想，足够你做决定。据两位作者介绍，FAQ 收录的正是他们在教 5,000 多名工程师和 PM 时被问得最多的问题。

读完之后，如果你仍然需要有人带你做每份作业、需要一个可以提问的社区，那时这门课才值这个价。

对 FDE 来说，额外的价值在课程名里的“PMs”。你和做产品决策的人一起学，也就是在练习用他们听得懂的语言谈评测，而这是你每周都要在客户面前做的事。

## 该带走什么，简历上写什么

另一个值得记住的点是：循环必须闭合。课程的承诺不止于“找出出错的地方”，还要继续“用评测改进”，然后回头寻找新的问题。在这种视角下，评测不是项目末尾的一道关卡，而是日常的工作节奏。

要在简历上体现这项能力，别写“有评测经验”。要写你读了多少条 trace，归纳出多少类错误，你构建的评测抓住了哪一类。这样一行字，比任何框架名都更有说服力。

课程费可以等，读输出的习惯应该从这周开始，因为客户真正花钱买的就是这个。

**本周动手试试:**

- 从你手上的 Agent 中取 50 条真实 trace，逐条人工评判，每个错误用一句短话记下，然后分组
- 决定是否报名之前，先读 hamel.dev 上的 AI Evals FAQ 和 A Field Guide to Rapidly Improving AI Products
- 把简历中的一行改写成这种形式：基于真实数据归纳出 N 类错误，并为最常见的一类构建了评测

## 信源

- [AI Evals For Engineers & PMs (Maven)](https://maven.com/parlance-labs/evals)

- [Hamel Husain (hamel.dev)](https://hamel.dev/)

- [Shreya Shankar](https://www.sh-reya.com/)

- [AI Evals FAQ (Hamel Husain & Shreya Shankar)](https://hamel.dev/blog/posts/evals-faq/)

- [A Field Guide to Rapidly Improving AI Products](https://hamel.dev/blog/posts/field-guide/)

- [Building eval systems that improve your AI product (Lenny's Newsletter)](https://www.lennysnewsletter.com/p/building-eval-systems-that-improve)