# 大模型赢下演示，小模型才能过基础设施这一关

> 让大模型当教师标注数据，蒸馏出能跑在客户机器上的小模型，回答成本、延迟和数据问题。

原文: https://fdetimes.net/zh/guides/distillation-large-model-labels-small-model/

演示跑在客户最信任的那个最大的模型上，效果很好：它读客户邮件，判断出正确的请求类型，还能把理由讲得条理清楚。接下来是和基础设施团队开会。他们会问：每月要花多少钱，每个请求要多久，客户数据为什么必须离开公司。

老实的回答通常是：对这样一个窄任务来说，大模型太贵，也太重。Google 和 Snorkel 的研究人员写道，LLM 的算力需求远超大多数产品团队的承受能力。如果客户有自己的基础设施和严格的数据规定，问题还会更突出。

蒸馏正是前线部署工程师（FDE）走出这一困境的办法。大模型保留下来当“教师”，用它生成数据，再训练一个能在客户机器上运行的小模型。这项技能介于应用 AI 和部署之间，决定了一个演示能否变成生产系统。

## 这个思路早于 LLM 浪潮

2015 年，Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 在集成模型上描述的正是这个问题。他们承认，用整个集成模型做预测很笨重，并证明集成模型中的知识可以压缩到单个模型里。这就是现代蒸馏的源头。

这篇论文的精妙之处在于“软目标”：学生学的不只是正确标签，而是教师给出的整个概率分布。假设教师给一封邮件的打分是 0.7 属于“理赔申请”、0.25 属于“费用投诉”。这 0.25 告诉学生这两个类别很接近，硬标签传达不了这一点。

到了 LLM 时代，又多了一种信号：解释。论文《Distilling Step-by-Step》（2023）把 LLM 生成的推理依据作为额外的监督信号，以多任务方式训练小模型：既预测标签，也生成推理依据。

## 小模型能胜过大模型吗？

在这篇论文的基准测试上，可以。一个经过微调、7.7 亿参数的 T5 模型，只用 80% 的可用数据，就超过了采用少样本提示、拥有 5400 亿参数的 PaLM。平均而言，他们的模型用不到 50% 的训练样本就取得了更好的结果。

不要把这个数字当作承诺带进客户会议。那是基准测试，不是你客户的邮件。AWS 也说，Bedrock 上的学生模型响应快得多、运行成本更低，但那是厂商的说法。你唯一能承诺的是：会在客户自己的数据上测量。

因此，OpenAI 关于蒸馏的官方文档定的目标很克制：训练一个小模型，让它在特定任务上的表现接近更大、更贵的模型。文档还立下一条原则：先有评测，再投入微调。

**要点:** 小模型有多可信，取决于给它打分的测试有多可信。

## 实例：保险公司的六类邮件

假设客户是一家保险公司，需要把邮件分成六组，其中包括“理赔进度查询”和“疑似欺诈”。它有 20,000 封未标注的邮件，希望模型跑在内部集群上。

第一步不是调用大模型，而是请客户的业务专家标注 600 封邮件，并分成两份：200 封作为开发集，用来调提示词；400 封作为留出集。留出集单独放好，既不用于训练，也不用于调提示词。

如果留出集中 60% 是“理赔进度查询”，一个永远只回答这个标签的模型就能拿到 60% 的准确率，却一封欺诈邮件也抓不到。所以必须按类别测召回率，尤其是客户最怕漏掉的那一类。

第二步：调优教师的提示词，在开发集上打分，直到达到你和客户约定的评测门槛。这正是 OpenAI 推荐的流程：让大模型的提示词通过评测，收集它的输出，过滤成数据集，再微调一个较小的模型，比如 gpt-4.1-mini。如果教师本身都达不到门槛，学生就无从学起。

第三步：让教师按固定格式，带推理依据标注全部 20,000 封邮件：

```python
def label_with_teacher(email, teacher):
    out = teacher.generate(PROMPT, email)        # PROMPT 已在 DEV_HUMAN 上调优
    rec = parse_json(out)                        # {"label": ..., "rationale": ...}
    if rec is None or rec["label"] not in LABELS:
        return None                              # 丢弃格式错误的记录
    return {"input": email, "label": rec["label"], "rationale": rec["rationale"]}

raw = [label_with_teacher(e, teacher) for e in emails]
```

第四步：过滤数据，然后微调学生：

```python
dataset = [r for r in raw if r]                                  # 丢弃损坏的记录
dataset = [r for r in dataset if agrees_on_rerun(r, teacher)]    # 再调用一次，保留结果一致的样本
train, val = split(dataset, 0.9)
student = finetune(base_small_model, train, targets=["label", "rationale"])
```

很多人在这两行过滤上偷工减料。格式错误的记录、不在列表里的标签、教师两次调用答案不同的样本，都是噪声。学生会老老实实地把这些噪声背下来。

第五步：部署前在留出集上对比。直到这时才打开那 400 封留出邮件，把三列结果并排放：教师、未微调的小模型、学生。

OpenAI 强调，需要有可靠的办法判断微调后的模型是否胜过基础模型，即微调前的小模型。如果学生没有明显胜过未调优的小模型，训练成本就白花了。

只有学生胜出，才在客户的真实硬件上测延迟和资源占用，然后保留一小股流量继续发给教师，用来发现数据何时发生漂移。

基础设施团队问到成本时，针对同样的请求量并排给出两个数字：继续调用教师的单次请求成本，和学生在客户机器上的单次请求成本，再加上标注和训练的一次性成本。

这样呈现，客户能看到蒸馏在多少次请求之后开始回本，而不是一句含糊的“会更便宜”。

## 让蒸馏悄悄失败的错误

最严重的错误，是用教师的标签给学生打分。这样测到的只是学生模仿教师的程度，连教师的错误也一并模仿。留出集必须由懂业务的人标注。

更隐蔽的变体，是直接在留出集上调提示词。改上几十轮之后，提示词就贴合了这 400 封邮件，最终数字看起来比实际更好。开发集存在的意义，就是让留出集始终是真正的对照。

第三个错误，是忘了标注这一步同样会把数据发送出去。如果邮件不能离开客户的基础设施，教师就必须运行在已获批准的地方，否则只能使用匿名化的数据集。

在第一次调用 API 之前就和安全团队把这件事谈妥，并仔细阅读提供商关于用输出训练其他模型的条款。

最后一个错误，是为了省 token 去掉推理依据。《Distilling Step-by-Step》的结果表明，正是推理依据让小模型能用更少的数据高效学习。对客户来说，推理依据也让业务专家能核查模型为什么标记某封邮件。

## 把这项技能变成求职优势

阅读 FDE 或应用 AI 岗位的职位描述时，留意“fine-tuning”“evals”“on-prem”或“cost optimization”是否同时出现。这说明公司需要的正是能跑通这套流程的人。在简历上，有分量的一行应写明：任务是什么、学生模型多大、它在人工标注留出集上的指标，以及实测的延迟降幅。

本周练习：找一个公开的分类数据集，假设你只有 200 条人工标注，把它们分成开发集和留出集。

用大模型带推理依据标注其余数据，微调一个小模型，再按上面的三列格式写一页对比，并用一段话说明学生表现最差的那个类别。

大模型上的演示证明问题可以解决。蒸馏则证明，客户每天都能在自己的机器上用好这个方案。

**本周动手试试:**

- 在你的项目里挑一个跑在大模型上的分类任务，在做其他任何事之前，先请领域专家标注 200 个样本作为留出集。
- 统计留出集中最常见类别的占比：这就是一个“偷懒”模型能拿到的准确率，学生模型必须大幅超过它。
- 阅读 OpenAI 微调文档中“Distilling from a larger model”一节，再把其中的流程改写成一份针对你当前所服务客户基础设施的检查清单。

## 信源

- [Distilling the Knowledge in a Neural Network](https://ar5iv.arxiv.org/html/1503.02531)

- [Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes](https://arxiv.org/abs/2305.02301)

- [Distilling Step-by-Step! Outperforming Larger Language Models](https://arxiv.org/html/2305.02301v2)

- [Supervised fine-tuning (Distilling from a larger model) - OpenAI API docs](https://developers.openai.com/api/docs/guides/supervised-fine-tuning)

- [Amazon Bedrock Model Distillation: Boost function calling accuracy while reducing cost and latency](https://aws.amazon.com/blogs/machine-learning/amazon-bedrock-model-distillation-boost-function-calling-accuracy-while-reducing-cost-and-latency/)
