大模型赢下演示,小模型才能过基础设施这一关
让大模型当教师标注数据,蒸馏出能跑在客户机器上的小模型,回答成本、延迟和数据问题。
要点速览
- 蒸馏把大模型在某个窄任务上的能力压缩进小模型,让它更便宜、更快,并且能在客户自己的基础设施内运行。
- 微调之前必须先有人工标注的评测集;单独留出一份作为对照,才能可靠判断学生模型是否真的胜过未微调的小模型。
- 让教师输出推理依据,而不只是标签:研究表明,这能让小模型用更少的数据学得更好。
演示跑在客户最信任的那个最大的模型上,效果很好:它读客户邮件,判断出正确的请求类型,还能把理由讲得条理清楚。接下来是和基础设施团队开会。他们会问:每月要花多少钱,每个请求要多久,客户数据为什么必须离开公司。
老实的回答通常是:对这样一个窄任务来说,大模型太贵,也太重。Google 和 Snorkel 的研究人员写道,LLM 的算力需求远超大多数产品团队的承受能力。如果客户有自己的基础设施和严格的数据规定,问题还会更突出。
蒸馏正是前线部署工程师(FDE)走出这一困境的办法。大模型保留下来当“教师”,用它生成数据,再训练一个能在客户机器上运行的小模型。这项技能介于应用 AI 和部署之间,决定了一个演示能否变成生产系统。
这个思路早于 LLM 浪潮
2015 年,Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 在集成模型上描述的正是这个问题。他们承认,用整个集成模型做预测很笨重,并证明集成模型中的知识可以压缩到单个模型里。这就是现代蒸馏的源头。
这篇论文的精妙之处在于“软目标”:学生学的不只是正确标签,而是教师给出的整个概率分布。假设教师给一封邮件的打分是 0.7 属于“理赔申请”、0.25 属于“费用投诉”。这 0.25 告诉学生这两个类别很接近,硬标签传达不了这一点。
到了 LLM 时代,又多了一种信号:解释。论文《Distilling Step-by-Step》(2023)把 LLM 生成的推理依据作为额外的监督信号,以多任务方式训练小模型:既预测标签,也生成推理依据。
小模型能胜过大模型吗?
在这篇论文的基准测试上,可以。一个经过微调、7.7 亿参数的 T5 模型,只用 80% 的可用数据,就超过了采用少样本提示、拥有 5400 亿参数的 PaLM。平均而言,他们的模型用不到 50% 的训练样本就取得了更好的结果。
不要把这个数字当作承诺带进客户会议。那是基准测试,不是你客户的邮件。AWS 也说,Bedrock 上的学生模型响应快得多、运行成本更低,但那是厂商的说法。你唯一能承诺的是:会在客户自己的数据上测量。
因此,OpenAI 关于蒸馏的官方文档定的目标很克制:训练一个小模型,让它在特定任务上的表现接近更大、更贵的模型。文档还立下一条原则:先有评测,再投入微调。
实例:保险公司的六类邮件
假设客户是一家保险公司,需要把邮件分成六组,其中包括“理赔进度查询”和“疑似欺诈”。它有 20,000 封未标注的邮件,希望模型跑在内部集群上。
第一步不是调用大模型,而是请客户的业务专家标注 600 封邮件,并分成两份:200 封作为开发集,用来调提示词;400 封作为留出集。留出集单独放好,既不用于训练,也不用于调提示词。
如果留出集中 60% 是“理赔进度查询”,一个永远只回答这个标签的模型就能拿到 60% 的准确率,却一封欺诈邮件也抓不到。所以必须按类别测召回率,尤其是客户最怕漏掉的那一类。
第二步:调优教师的提示词,在开发集上打分,直到达到你和客户约定的评测门槛。这正是 OpenAI 推荐的流程:让大模型的提示词通过评测,收集它的输出,过滤成数据集,再微调一个较小的模型,比如 gpt-4.1-mini。如果教师本身都达不到门槛,学生就无从学起。
第三步:让教师按固定格式,带推理依据标注全部 20,000 封邮件:
def label_with_teacher(email, teacher):
out = teacher.generate(PROMPT, email) # PROMPT 已在 DEV_HUMAN 上调优
rec = parse_json(out) # {"label": ..., "rationale": ...}
if rec is None or rec["label"] not in LABELS:
return None # 丢弃格式错误的记录
return {"input": email, "label": rec["label"], "rationale": rec["rationale"]}
raw = [label_with_teacher(e, teacher) for e in emails]
第四步:过滤数据,然后微调学生:
dataset = [r for r in raw if r] # 丢弃损坏的记录
dataset = [r for r in dataset if agrees_on_rerun(r, teacher)] # 再调用一次,保留结果一致的样本
train, val = split(dataset, 0.9)
student = finetune(base_small_model, train, targets=["label", "rationale"])
很多人在这两行过滤上偷工减料。格式错误的记录、不在列表里的标签、教师两次调用答案不同的样本,都是噪声。学生会老老实实地把这些噪声背下来。
第五步:部署前在留出集上对比。直到这时才打开那 400 封留出邮件,把三列结果并排放:教师、未微调的小模型、学生。
OpenAI 强调,需要有可靠的办法判断微调后的模型是否胜过基础模型,即微调前的小模型。如果学生没有明显胜过未调优的小模型,训练成本就白花了。
只有学生胜出,才在客户的真实硬件上测延迟和资源占用,然后保留一小股流量继续发给教师,用来发现数据何时发生漂移。
基础设施团队问到成本时,针对同样的请求量并排给出两个数字:继续调用教师的单次请求成本,和学生在客户机器上的单次请求成本,再加上标注和训练的一次性成本。
这样呈现,客户能看到蒸馏在多少次请求之后开始回本,而不是一句含糊的“会更便宜”。
让蒸馏悄悄失败的错误
最严重的错误,是用教师的标签给学生打分。这样测到的只是学生模仿教师的程度,连教师的错误也一并模仿。留出集必须由懂业务的人标注。
更隐蔽的变体,是直接在留出集上调提示词。改上几十轮之后,提示词就贴合了这 400 封邮件,最终数字看起来比实际更好。开发集存在的意义,就是让留出集始终是真正的对照。
第三个错误,是忘了标注这一步同样会把数据发送出去。如果邮件不能离开客户的基础设施,教师就必须运行在已获批准的地方,否则只能使用匿名化的数据集。
在第一次调用 API 之前就和安全团队把这件事谈妥,并仔细阅读提供商关于用输出训练其他模型的条款。
最后一个错误,是为了省 token 去掉推理依据。《Distilling Step-by-Step》的结果表明,正是推理依据让小模型能用更少的数据高效学习。对客户来说,推理依据也让业务专家能核查模型为什么标记某封邮件。
把这项技能变成求职优势
阅读 FDE 或应用 AI 岗位的职位描述时,留意“fine-tuning”“evals”“on-prem”或“cost optimization”是否同时出现。这说明公司需要的正是能跑通这套流程的人。在简历上,有分量的一行应写明:任务是什么、学生模型多大、它在人工标注留出集上的指标,以及实测的延迟降幅。
本周练习:找一个公开的分类数据集,假设你只有 200 条人工标注,把它们分成开发集和留出集。
用大模型带推理依据标注其余数据,微调一个小模型,再按上面的三列格式写一页对比,并用一段话说明学生表现最差的那个类别。
大模型上的演示证明问题可以解决。蒸馏则证明,客户每天都能在自己的机器上用好这个方案。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Distilling the Knowledge in a Neural Network · 2015-03-09
- Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes · 2023-05-03
- Distilling Step-by-Step! Outperforming Larger Language Models · 2023-05-03
- Supervised fine-tuning (Distilling from a larger model) - OpenAI API docs
- Amazon Bedrock Model Distillation: Boost function calling accuracy while reducing cost and latency · 2025-04-30