# 这门免费 RAG 课程，讲的是演示之后的事

> LLM Zoomcamp 用整个模块讲评测和监控，也就是客户第三周会追问的事，只需 1–5 美元 OpenAI 额度。

原文: https://fdetimes.net/zh/books-courses/llm-zoomcamp-rag-evaluation-monitoring/

能回答几个问题的 RAG 聊天机器人，只是工作的前一半。后一半往往从客户第三周提出的一个问题开始：“它的回答对不对？你怎么知道？”DataTalks.Club 的免费课程 LLM Zoomcamp 之所以值得一提，就在于它正面回应了这个问题。

除了 LLM 和 RAG 基础，课程还专门设了一个评测模块和一个监控模块。对想成为前线部署工程师（FDE）的人来说，这两部分最值得学，因为 FDE 的工作恰恰从演示结束的地方开始。

## 谁在办这门课，要花多少钱？

DataTalks.Club 是 Zoomcamp 系列课程背后的社区，社区创始人 Alexey Grigorev 是讲师之一。视频、课程资料和作业全部免费。如果自己跑代码，可能要花 1–5 美元的 OpenAI 额度。

入门门槛不高：能熟练写 Python，有一台笔记本电脑即可。任何笔记本都行，不需要 GPU。对有几年后端经验的开发者来说，技术门槛几乎不算门槛。真正难的是度量的习惯，而后面两个模块恰恰要求这一点。

## 为第三周准备的两个模块

模块 4（评测）讲如何在离线和在线两种场景下，衡量搜索、RAG 和 Agent 的检索质量与回答质量。模块 5（监控）转向已部署的系统，内容包括用户反馈、系统健康状况、实时看板、每次 LLM 调用的指标、延迟和成本。

单看清单，这些内容有些枯燥。放到具体事故里，意义才显现出来。

假设你为一家银行部署了一个查询内部流程的助手。第一周大家都很满意。到了第三周，一位部门负责人抱怨它的回答“听起来有道理，但其实是错的”。

常见的第一反应是改提示词。但“错”至少有两个来源：要么检索器取错了文档，要么取对了文档、模型却理解错了。改提示词只能解决后一种。

## 用 20 个问题区分两类错误

这正是模块 4 培养的能力，现在就可以动手练。写 20 个部门负责人常问的那类问题，为每个问题标出流程文档中包含正确答案的段落。这就是你的第一个离线评测集。

第一步：只运行检索器，不调用模型。逐个检查正确段落是否出现在检索结果里。假设 14 个命中、6 个未命中。这 6 个就是检索错误。任何提示词都救不了它们，因为模型根本没见过正确的文档。

第二步：只看检索器成功的那 14 个问题。把对应的上下文原样交给模型，再给回答打分。仍然答错的，就是理解错误。到这一步，改提示词、调整上下文的呈现方式或换模型才有意义。

走完这两步，“听起来有道理但其实是错的”这句抱怨就变成了两个独立的数字，各自指向需要修的那一层。你带回给部门负责人的，是诊断，而不是承诺。

**要点:** 在能区分检索错误和理解错误之前，每一次改提示词都只是猜测。

## 手写的测试集会过时

自己写的 20 个问题，永远不会和真实用户输入的完全一致。所以模块 4 也讲在线评测，模块 5 把用户反馈放上了看板。今天评分低的问题，下周就应该加入测试集。

监控还能回答测试集回答不了的问题：错误多久发生一次，每个回答要花多少钱。对企业客户来说，一个回答正确却让用户久等、或者 API 账单居高不下的助手，同样有问题。

把延迟和成本当作质量的一部分，与准确率同等对待。

## 跟班还是自学？

课程每年开一期，通常 6 月开始。“跟班”并不意味着直播上课。所有课程都是预先录好的，跟班只是多了截止日期和作业评分。自学没有证书，但可以自由地做作品集项目。

如果需要截止日期来督促自己，就等下一期。如果自律性已经足够，现在就从 GitHub 仓库开始。无论哪种方式，都不要直接跳到模块 4。快速过一遍基础，用一个你熟悉的数据集搭好管道，然后把大部分时间花在评测和监控上。

## 把课程变成简历上的证据

在 FDE 面试中，你实际度量过一个真实系统的证据，比课程名称更有分量。看岗位描述时，留意“evaluation”“production monitoring”“LLM observability”这类字眼。这些正是模块 4 和模块 5 的内容。

简历上不要只写“完成 LLM Zoomcamp”。要写清你搭建的 RAG 系统、区分检索与回答的评测集，以及跟踪延迟、成本和用户反馈的看板，并附上仓库链接。面试时，讲一次测试集帮你定位到错误出在哪一层的经历。

这门课不会让你直接成为 FDE。但它教你用数字回答“你怎么知道？”，而对 FDE 来说，这就是工作的很大一部分。

**本周动手试试:**

- 找一小批你熟悉的文档，写 20 个问题。为每个问题标出正确段落，然后只运行检索器，统计有多少问题召回了该段落。
- 对检索器找到正确段落的问题，把对应上下文交给模型，再给回答打分。把检索错误和理解错误分开记录。
- 打开 GitHub 上 DataTalksClub/llm-zoomcamp 仓库的 README，读模块 4 和模块 5。然后充几美元 OpenAI 额度，跑通第一个 notebook。

## 信源

- [DataTalksClub/llm-zoomcamp (GitHub README)](https://github.com/DataTalksClub/llm-zoomcamp)

- [LLM Zoomcamp (DataTalks.Club blog)](https://datatalks.club/blog/llm-zoomcamp.html)

- [LLM Zoomcamp curriculum (DataTalks.Club docs)](https://datatalksclub.github.io/docs/courses/llm-zoomcamp/curriculum/)