# 该不该微调？DeepLearning.AI 用 76 分钟作答

> Banghua Zhu 的课程不讲 GPU 集群，只讲 SFT、DPO 和在线 RL 何时适用，正是 FDE 在客户现场要做的判断。

原文: https://fdetimes.net/zh/books-courses/deeplearning-ai-post-training-llms-review/

在客户现场，很少有人问前线部署工程师（FDE）“GRPO 怎么跑？”更常见的问题是：“我们该不该微调？要微调的话，怎么做？”答错了，团队可能花上几周训练模型，去解决一个改改提示词就能解决的问题。

DeepLearning.AI 的“Post-training of LLMs”课程正是围绕这个问题设计的。它讲三种技术：监督微调（SFT）、直接偏好优化（DPO）和在线强化学习（RL）。按课程页面的说法，目标是理解每种方法该在何时、为何使用，而不只是孤立地学会跑某一种技术。

所以，即使从没亲手训练过模型，这门课也值得一学。课程难度标为 Intermediate，官方页面把目标概括为学会对 LLM 进行后训练和定制。

## 谁来讲，适合谁？

讲师是 Banghua Zhu。据课程页面上的简介，他是华盛顿大学助理教授、Nvidia 首席研究科学家，也是 Nexusflow 联合创始人。DeepLearning.AI 于 2025 年 7 月 9 日在社区论坛上发布了这门课，课程页面显示最近一次更新是 2026 年 7 月 17 日。

课程很紧凑。课程页面标注总时长 1 小时 26 分钟，其中包括 10 分钟计分测验。去掉测验，课程内容约 76 分钟，与这门课早先列表中的 1 小时 16 分钟一致。

课程介绍称，它面向“准备超越预训练”的 AI 从业者。换句话说，开始前应当掌握 LLM 基础。对 FDE 来说，合理的顺序是先熟练掌握提示词、检索和评测，再学这门课。只有实测证明更便宜的方案不够用，微调才值得讨论。

## 三种方法，三种信号

课程每一部分都配有动手实验。SFT 部分加载一个预训练模型，搭建数据管道，把基座模型变成指令模型。DPO 部分的例子是改变聊天助手的“身份”。RL 部分讲解 PPO 和 GRPO 的原理以及奖励函数的设计，然后用 GRPO 和可验证奖励训练模型，提升它的数学能力。

把三个实验放在一起看，第一条值得记住的经验就出来了：每种方法需要不同类型的信号。SFT 从示例中学习，即输入及其正确输出；DPO 从好答案与差答案的对比中学习；RL 从评分函数中学习。

**要点:** 决定怎么微调之前，先问客户手里已经有哪种信号。

设想一家物流客户，希望模型读取邮件并提取运单号。如果他们已有几千封员工标注过的邮件，这就是 SFT 类型的数据。

如果他们只有员工纠正机器人回答的日志，那就是好/坏答案对，更接近 DPO。到客户现场的第一件事是盘点他们有什么数据，而不是一上来就谈模型。

## DPO 用来调整模型行为

聊天助手身份这个实验规模不大，但它说明 DPO 改变的是模型的行为。这是第二条值得记住的经验。

“机器人必须用公司名称自我介绍”“机器人必须拒答超出范围的问题”“语气必须简洁”，这类需求都关乎行为，可以写成偏好答案与拒绝答案的配对。

如果客户希望模型“知道”更多内部文档，用 DPO 之前要三思，因为检索通常是更好的首选方案。在需求调研阶段把这两类需求分开，能让双方少走许多轮无效训练。

## 可验证奖励最贴近 FDE 的工作

第三条经验，也是学这门课的主要理由，是用可验证奖励训练 GRPO 的部分。数学题有明确的对错，奖励可以自动计算，不需要人工评分。许多客户任务也有这个特点。

回到那家物流客户。奖励可以简单到这种程度：输出是合法 JSON 且运单号与系统一致，得 1 分，否则得 0 分。

如果任务是读取发票，可以再加一个条件：总金额必须等于各行明细之和。写这样的奖励，会逼着你用代码定义什么是“正确”。这也正是搭建评测所需的能力，哪怕最后什么都不训练。

缺点是，奖励写得不严，模型就会找到不真正完成任务也能得分的办法。所以哪怕只跑一步训练之前，也要先把奖励函数当作规格说明交给客户确认。

## 哪些不必期待

不要指望这门课教你基础设施。实验跑的是从 Hugging Face 下载的小型预训练模型。相比之下，NVIDIA 的后训练库 NeMo RL 面向从极小规模到 100B 以上参数的模型，可在 1 块到数百块 GPU 上运行。

两者之间的差距本身就是一整套技能，76 分钟填不平。

对大多数 FDE 来说，这个差距可以接受。你的工作通常是选对方法，并证明它有效。真实项目需要大规模训练时，下一步是读 NeMo RL 文档，而不是把这门课再学一遍。

如果目标岗位的职位描述在客户工作的语境下提到微调，简历上不要笼统写一句“学过后训练”。要写一个具体的决定：什么任务、什么信号、为什么选择 SFT 或放弃微调、评测分数提升了多少。

这 76 分钟真正该带走的不是怎么跑 GRPO，而是一种习惯：碰任何一块 GPU 之前，先问“什么叫正确？怎么验证？”

**本周动手试试:**

- 先学 PPO 和 GRPO 那一课，再在纸上为某个客户正面临的、答案可验证的任务写一个奖励函数。
- 拿出最近一次收到的“我们想微调”需求，记下客户手里有的是示例、好/坏对比答案，还是自动判定对错的方法。
- 在简历上加一行，用数字描述一次你选择或排除微调的经历，写明理由和评测集上的结果。

## 信源

- [Post-training of LLMs – DeepLearning.AI](https://www.deeplearning.ai/courses/post-training-of-llms)

- [✨ New course! Enroll in Post-training of LLMs](https://community.deeplearning.ai/t/new-course-enroll-in-post-training-of-llms/848544)

- [Post-training of LLMs – DeepLearning.AI Short Courses](https://www.deeplearning.ai/short-courses/post-training-of-llms/)

- [NVIDIA NeMo RL documentation](https://docs.nvidia.com/nemo/rl)