# Smol Course 教的，正是客户要的微调证据

> 前三个单元基于小模型 SmolLM3，每周三到四小时，值得前线部署工程师（FDE）投入；有 GPU 更好，但未必必需。

原文: https://fdetimes.net/zh/books-courses/hugging-face-smol-course-fde-guide/

一个小模型、一台个人电脑，每周 3-4 小时。按 Hugging Face 的说法，这就足以开始学习如何让语言模型精确地完成客户需要的事。

这门课叫 Smol Course。[huggingface/smol-course](https://github.com/huggingface/smol-course) 仓库的 README 将其描述为一门实践课程，教学习者针对自己的具体用例对齐语言模型。

对前线部署工程师（FDE）来说，“具体用例”就是日常工作。客户很少需要一个无所不知的模型。他们要的是一个按自己的格式、语气和业务规则作答的模型，然后还要有证据表明它确实做到了。

Smol Course 在小模型上把这两件事都教了，足够你在大型系统上动真格之前先练手。

## 适合谁，要求有多高？

课程围绕 Hugging Face 的小语言模型 SmolLM3 展开。Hugging Face Learn 页面称，目标受众是希望快速上手大模型（LLM）微调的软件开发者和工程师。每章设计为一周内完成，约需 3-4 小时，全职工作的工程师也挤得出时间。

硬件方面，两个官方来源的说法略有出入。README 称所有内容在大多数个人电脑上都能运行；Learn 页面只要求一台能上网的电脑，并补充说建议配备 GPU。

“在大多数个人电脑上都能运行”是 README 的自述，未经独立验证。稳妥的做法是先在手头的机器上试，太慢再去找 GPU。

当前版本是“smol course v2”，共七个单元：指令微调、评测、偏好对齐、视觉语言模型、强化学习、合成数据，以及一场“颁奖”环节。2025 年的课程安排持续到 2025 年 12 月，所以现在只能按自己的节奏学。

## 先试 SFT

第 1 单元讲监督微调（SFT）。课程称它是让预训练模型遵循指令的核心技术。该单元的目标之一，是针对多种任务微调 SmolLM3。

设想一家物流客户，希望模型读取投诉邮件，返回包含三个字段的 JSON：订单号、事件类型和紧急程度。无论提示词写多长，模型偶尔还是会偏离格式。

用客户员工自己标注的几百组“邮件—JSON”数据做 SFT，是教会模型这种行为最直接的办法。第 1 单元让你先在廉价模型上练的正是这件事，等到真正上手时心里有底。

## 只有用客户数据做的评测才能说服客户

第 2 单元讲评测：基准测试和定制的领域评测。公开基准只能说明模型总体还行，客户只关心它能不能把自己的活干好。

回到投诉邮件的例子。微调之前，可以先留出比如 50 封模型从未见过的邮件，统计基础模型有多少次返回了合法 JSON 且事件类型正确。微调之后，再用同样的 50 封邮件跑一遍，前后对比的数字比任何幻灯片都更有说服力。

**要点:** 评测集要在微调之前写好，而不是之后。

第 1 单元仍然要先学，因为没有微调过的模型，就没有可评测的对象；但第 2 单元养成的习惯最持久。为每个问题构建专门的测试集，是一项能带到每个项目里的 FDE 技能，无论用的是哪个模型。

## 答对了，客户仍不满意？该上 DPO 了

第 3 单元讲偏好对齐：借助 DPO 等算法，把模型引向人们更喜欢的答案。这种情况在 SFT 之后很常见：模型格式对了，但客户的业务专家仍觉得回答啰嗦，或者语气不对。

不妨请客户的专家逐组比较模型的两个回答，选出更好的那个。“这个比那个好”这类数据，通常比让他们从零写标准答案更容易收集。

清楚什么时候用 SFT、什么时候用偏好对齐，才能一开始就向客户提出对的方案。

## 学习顺序，以及如何写进简历

对 FDE 而言，按第 1、第 2、第 3 单元的顺序学。视觉语言模型、强化学习和合成数据这几个单元，等真实项目需要时再学。证书分两级：基础证书只要求完成第 1 单元；结业证书则要求完成全部单元并提交结业项目。

价值在结业项目。选一个与真实客户工作相似的窄任务，在简历上按这个顺序呈现：问题、你构建的评测集、SFT 前后的结果，以及 DPO 带来的进一步提升。让“模型确实变好了”的证据唱主角，证书名称写一行就够了。

个人电脑上的小模型替代不了你为客户部署的系统。但它给了你一个低成本试错的地方，免得在客户的真实数据上犯代价高昂的错。

**本周动手试试:**

- 克隆 huggingface/smol-course 仓库，打开第 1 单元，先在手头的机器上试，再考虑租 GPU
- 从当前工作中挑一个窄任务，在开始微调之前写好约 30 条评测样例
- 重读几份 FDE 岗位描述，留意其中提到微调或评测的地方，记下你的结业项目需要证明什么

## 信源

- [huggingface/smol-course README](https://raw.githubusercontent.com/huggingface/smol-course/main/README.md)

- [Welcome to the smol course (Hugging Face Learn)](https://huggingface.co/learn/smol-course/unit0/1)

- [Instruction Tuning, Unit 1 (Hugging Face smol course)](https://huggingface.co/learn/smol-course/unit1/1)