# 这门生成式 AI 评测课，47 分钟里只有 14 分钟讲 LLM

> 其余内容仍值得一看：记录每次运行、给数据做版本管理，这些习惯适用于任何技术栈。

原文: https://fdetimes.net/zh/books-courses/evaluating-debugging-generative-ai-course-review/

Evaluating and Debugging Generative AI 的视频总长约 47 分钟，另有一个 10 分钟的计分测验。直接讲 LLM 评测与追踪的内容，只占其中一节 14 分钟的课。

这个数字并不说明课程不好，而是说明了它的性质：一门基于 Weights & Biases 的 MLOps 工具课。DeepLearning.AI 于 2023 年 8 月宣布上线。对需要证明 Agent 在真实数据上可用的前线部署工程师（FDE）来说，关键是挑对课时，养成对的习惯。

## 工具厂商讲的工具课

主讲人 Carey Phelps 是 Weights & Biases 的创始产品经理。上线公告明确说，学员将使用 W&B 平台追踪实验；W&B 也要求学员拥有 W&B 账号，并掌握 Python、PyTorch 或类似框架。课程难度标为中级。

而官方课程页面则承诺，会教学员用“与平台无关的工具”评测基于 LLM 的程序和图像生成模型。

两种说法并不完全一致。比较合理的理解是：工具是 W&B，与平台无关的是方法。

在 DeepLearning.AI 学习平台的测试期内，课程免费，之后可能会变。

## 另外 33 分钟是给谁的？

七节视频课覆盖四个部分：用 W&B 为代码埋点、训练和评测扩散模型、评测与追踪 LLM，以及微调语言模型。课程把自身范围限定在“开发阶段”的模型追踪与调试。

FDE 应该留意最后这一点。你遇到的大部分麻烦都发生在这个阶段之后，也就是 Agent 接触到客户真实数据之后。课程给了你记录一切的工具，但在生产环境中记录什么，要你自己决定。

所以建议按这个顺序看：先看 W&B 埋点那一课，弄懂日志记录的原理，然后直接看 LLM Evaluation and Tracing。只有客户确实想微调自己的模型时，才看微调那一课。项目不生成图像的话，扩散模型那一课可以跳过。

## 值得带走的三个思路

MLOps Community 的一篇总结提炼出三个习惯，不管你用不用 W&B 都适用。第一是配置管理：每次运行都记录所用的全部参数，这样就不必猜“当时是用什么设置跑的？”

第二是把数据集和模型作为 artifact 做版本管理。评测集也是数据。如果往测试集里加了 20 个难例却不换新版本，本周和上周的分数就无法再比较。

第三是长期追踪 prompt 和响应，尤其是在复杂的多轮交互链中。讲师在 LLM 那一课中指出，生成式模型的输出更难评测。正因为难以用单一数字打分，才需要原样保存每一轮，方便回看和对比。

**要点:** 输出难以打分时，完整的记录就是你唯一的证据。

## 这些习惯如何在客户现场救场

设想一家保险客户用 Agent 总结理赔材料。周一你改了 system prompt，并加了一步工具调用。到了周四，客户团队反馈摘要“比以前差了”。

没有追踪记录，当天的会议只能是各说各的印象。有了记录，你清楚地知道每条输出来自哪个 prompt 版本、哪个评测集。你用同样的 50 份样本文件重跑两个版本，把结果并排放在一起，指出新的工具调用在哪些情况下丢了细节。

你用具体案例回应客户，而不是给承诺。这就是那 14 分钟值得看两遍的原因：不是为了记住 W&B 的界面，而是养成在任何人投诉之前就记录每次运行的条件反射。

## 如何写进简历

看 FDE 招聘启事时，留意 evals、tracing 或 observability 这类词。出现这些词的地方，就是你拿这三个习惯当证据的地方。

不要只写一句“完成 Evaluating and Debugging Generative AI 课程”就了事。

用自己选的技术栈，在一个小型 LLM 应用上把这三个习惯重新实现一遍，然后写一条类似这样的经历：“为内部聊天机器人加入追踪和带版本的评测集，在一次 prompt 修改后发现了性能回退。”招聘方读到这句，看到的正是这门课想教的技能。

看完 47 分钟很容易。优秀 FDE 的不同之处在于：客户第一次说“比以前差了”时，记录早已备好，随时可以打开。

**本周动手试试:**

- 先看 Instrument W&B 一课，再看 LLM Evaluation and Tracing；如果客户不涉及图像，跳过扩散模型那一课。
- 拿一个手头已有的小型 LLM 应用，记录每次运行的 prompt 版本、评测集版本以及每一对 prompt/响应。
- 修改一个 prompt，用同一个评测集重跑，然后写三句话对比两个版本，就像要发给客户一样。

## 信源

- [Evaluating and Debugging Generative AI (DeepLearning.AI)](https://learn.deeplearning.ai/courses/evaluating-debugging-generative-ai)

- [Evaluating and Debugging Generative AI – DeepLearning.AI](https://www.deeplearning.ai/short-courses/evaluating-debugging-generative-ai/)

- [SHORT COURSE IS LIVE! Evaluating and Debugging Generative AI](https://community.deeplearning.ai/t/short-course-is-live-evaluating-and-debugging-generative-ai/405793)

- [Announcing our Brand New Generative AI Course with Andrew Ng and DeepLearning AI (Weights & Biases)](https://forge.coreweave.com/wandb/wandb/wb-announcements/reports/Announcing-our-Brand-New-Generative-AI-Course-with-Andrew-Ng-and-DeepLearning-AI--Vmlldzo1MDI3NTk5)

- [Evaluating and Debugging Generative AI (MLOps Community)](https://home.mlops.community/public/blogs/evaluating-and-debugging-generative-ai)

- [LLM Evaluation and Tracing with W&B (DeepLearning.AI lesson 5)](https://learn.deeplearning.ai/courses/evaluating-debugging-generative-ai/lesson/5/llm-evaluation-and-tracing-with-w%26b)