FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

大模型赢下演示,小模型才能过基础设施这一关

让大模型当教师标注数据,蒸馏出能跑在客户机器上的小模型,回答成本、延迟和数据问题。

分享微博

要点速览

  • 蒸馏把大模型在某个窄任务上的能力压缩进小模型,让它更便宜、更快,并且能在客户自己的基础设施内运行。
  • 微调之前必须先有人工标注的评测集;单独留出一份作为对照,才能可靠判断学生模型是否真的胜过未微调的小模型。
  • 让教师输出推理依据,而不只是标签:研究表明,这能让小模型用更少的数据学得更好。
一条横向条形图把客户专家标注的 600 封邮件分成两部分:200 封作为开发集,用于调优教师提示词;400 封作为突出显示的留出集,单独放好,只在最后一步用来给学生模型打分。
在保险邮件分类示例中,600 条人工标注分成两份。开发集用于调提示词。留出集从不用于训练或调提示词,只在对比教师、未微调的小模型和学生时打开。来源:文中的示意场景,基于 OpenAI 的蒸馏流程。

演示跑在客户最信任的那个最大的模型上,效果很好:它读客户邮件,判断出正确的请求类型,还能把理由讲得条理清楚。接下来是和基础设施团队开会。他们会问:每月要花多少钱,每个请求要多久,客户数据为什么必须离开公司。

老实的回答通常是:对这样一个窄任务来说,大模型太贵,也太重。Google 和 Snorkel 的研究人员写道,LLM 的算力需求远超大多数产品团队的承受能力。如果客户有自己的基础设施和严格的数据规定,问题还会更突出。

蒸馏正是前线部署工程师(FDE)走出这一困境的办法。大模型保留下来当“教师”,用它生成数据,再训练一个能在客户机器上运行的小模型。这项技能介于应用 AI 和部署之间,决定了一个演示能否变成生产系统。

这个思路早于 LLM 浪潮

2015 年,Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 在集成模型上描述的正是这个问题。他们承认,用整个集成模型做预测很笨重,并证明集成模型中的知识可以压缩到单个模型里。这就是现代蒸馏的源头。

这篇论文的精妙之处在于“软目标”:学生学的不只是正确标签,而是教师给出的整个概率分布。假设教师给一封邮件的打分是 0.7 属于“理赔申请”、0.25 属于“费用投诉”。这 0.25 告诉学生这两个类别很接近,硬标签传达不了这一点。

到了 LLM 时代,又多了一种信号:解释。论文《Distilling Step-by-Step》(2023)把 LLM 生成的推理依据作为额外的监督信号,以多任务方式训练小模型:既预测标签,也生成推理依据。

小模型能胜过大模型吗?

在这篇论文的基准测试上,可以。一个经过微调、7.7 亿参数的 T5 模型,只用 80% 的可用数据,就超过了采用少样本提示、拥有 5400 亿参数的 PaLM。平均而言,他们的模型用不到 50% 的训练样本就取得了更好的结果。

不要把这个数字当作承诺带进客户会议。那是基准测试,不是你客户的邮件。AWS 也说,Bedrock 上的学生模型响应快得多、运行成本更低,但那是厂商的说法。你唯一能承诺的是:会在客户自己的数据上测量。

因此,OpenAI 关于蒸馏的官方文档定的目标很克制:训练一个小模型,让它在特定任务上的表现接近更大、更贵的模型。文档还立下一条原则:先有评测,再投入微调。

实例:保险公司的六类邮件

假设客户是一家保险公司,需要把邮件分成六组,其中包括“理赔进度查询”和“疑似欺诈”。它有 20,000 封未标注的邮件,希望模型跑在内部集群上。

第一步不是调用大模型,而是请客户的业务专家标注 600 封邮件,并分成两份:200 封作为开发集,用来调提示词;400 封作为留出集。留出集单独放好,既不用于训练,也不用于调提示词。

如果留出集中 60% 是“理赔进度查询”,一个永远只回答这个标签的模型就能拿到 60% 的准确率,却一封欺诈邮件也抓不到。所以必须按类别测召回率,尤其是客户最怕漏掉的那一类。

第二步:调优教师的提示词,在开发集上打分,直到达到你和客户约定的评测门槛。这正是 OpenAI 推荐的流程:让大模型的提示词通过评测,收集它的输出,过滤成数据集,再微调一个较小的模型,比如 gpt-4.1-mini。如果教师本身都达不到门槛,学生就无从学起。

第三步:让教师按固定格式,带推理依据标注全部 20,000 封邮件:

def label_with_teacher(email, teacher):
    out = teacher.generate(PROMPT, email)        # PROMPT 已在 DEV_HUMAN 上调优
    rec = parse_json(out)                        # {"label": ..., "rationale": ...}
    if rec is None or rec["label"] not in LABELS:
        return None                              # 丢弃格式错误的记录
    return {"input": email, "label": rec["label"], "rationale": rec["rationale"]}

raw = [label_with_teacher(e, teacher) for e in emails]

第四步:过滤数据,然后微调学生:

dataset = [r for r in raw if r]                                  # 丢弃损坏的记录
dataset = [r for r in dataset if agrees_on_rerun(r, teacher)]    # 再调用一次,保留结果一致的样本
train, val = split(dataset, 0.9)
student = finetune(base_small_model, train, targets=["label", "rationale"])

很多人在这两行过滤上偷工减料。格式错误的记录、不在列表里的标签、教师两次调用答案不同的样本,都是噪声。学生会老老实实地把这些噪声背下来。

第五步:部署前在留出集上对比。直到这时才打开那 400 封留出邮件,把三列结果并排放:教师、未微调的小模型、学生。

OpenAI 强调,需要有可靠的办法判断微调后的模型是否胜过基础模型,即微调前的小模型。如果学生没有明显胜过未调优的小模型,训练成本就白花了。

只有学生胜出,才在客户的真实硬件上测延迟和资源占用,然后保留一小股流量继续发给教师,用来发现数据何时发生漂移。

基础设施团队问到成本时,针对同样的请求量并排给出两个数字:继续调用教师的单次请求成本,和学生在客户机器上的单次请求成本,再加上标注和训练的一次性成本。

这样呈现,客户能看到蒸馏在多少次请求之后开始回本,而不是一句含糊的“会更便宜”。

让蒸馏悄悄失败的错误

最严重的错误,是用教师的标签给学生打分。这样测到的只是学生模仿教师的程度,连教师的错误也一并模仿。留出集必须由懂业务的人标注。

更隐蔽的变体,是直接在留出集上调提示词。改上几十轮之后,提示词就贴合了这 400 封邮件,最终数字看起来比实际更好。开发集存在的意义,就是让留出集始终是真正的对照。

第三个错误,是忘了标注这一步同样会把数据发送出去。如果邮件不能离开客户的基础设施,教师就必须运行在已获批准的地方,否则只能使用匿名化的数据集。

在第一次调用 API 之前就和安全团队把这件事谈妥,并仔细阅读提供商关于用输出训练其他模型的条款。

最后一个错误,是为了省 token 去掉推理依据。《Distilling Step-by-Step》的结果表明,正是推理依据让小模型能用更少的数据高效学习。对客户来说,推理依据也让业务专家能核查模型为什么标记某封邮件。

把这项技能变成求职优势

阅读 FDE 或应用 AI 岗位的职位描述时,留意“fine-tuning”“evals”“on-prem”或“cost optimization”是否同时出现。这说明公司需要的正是能跑通这套流程的人。在简历上,有分量的一行应写明:任务是什么、学生模型多大、它在人工标注留出集上的指标,以及实测的延迟降幅。

本周练习:找一个公开的分类数据集,假设你只有 200 条人工标注,把它们分成开发集和留出集。

用大模型带推理依据标注其余数据,微调一个小模型,再按上面的三列格式写一页对比,并用一段话说明学生表现最差的那个类别。

大模型上的演示证明问题可以解决。蒸馏则证明,客户每天都能在自己的机器上用好这个方案。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 6: 价值度量与人工 90% 一致,Agent 也可能什么都没学会影子模式下记录 Agent 与操作员的决策,几十行 Python 算出 kappa,看一致率是否超出偶然。