FDE Times 数据在招 FDE 职位 924▲33 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 80在招公司 196支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 107
ENVI

前线部署工程师(FDE)的专业媒体

技能指南 · 指南

微调帮了一个团队,却拖累了另一个:先诊断再动手

按 OpenAI 的划分,缺知识用 RAG,行为不一致用微调,最终要靠客户数据上的基线来定。

配图对应文章主题:微调帮了一个团队却拖累了另一个,所以要先诊断再动手。
图片:Coolcaesar / CC BY 4.0
分享微博

要点速览

  • RAG 解决模型不知道的问题,微调解决模型知道却做错的问题。两者是不同的问题,需要不同的工具。
  • 检索层往往还有很大空间:Anthropic 用上下文检索把检索失败率降低 49%,加上重排序模型后降低 67%,全程没有微调。
  • 微调可以与 RAG 叠加(Microsoft:提升 6 个百分点以上,再加 5 个百分点),但也可能让模型变差。没有基线评测,不要上线。
三步示意图。第 1 步(橙色框):用 30-50 个带目标答案的真实问题建立评测集,测出基线。第 2 步:把每个错误答案归入两张卡片之一。左卡“模型不知道”:属于知识缺口,需要优化上下文;症状是模型编造条款,把文档粘贴进提示词后就能答对;解法是 RAG。上下文检索使前 20 个分块的检索失败率降低 49%,加上重排序后降低 67%;如果文档少于 200,000 个 token(约 500 页),先试着全部放进提示词。右卡“知道但出错”:属于行为错误,需要优化模型本身;症状是上下文充足时仍格式错误、每次运行结果不一致;解法是微调,数据质量比数量更重要。风险是模型可能不如基础模型,且规则变化时必须重新训练。第 3 步:每次改动都与基线重新对比测试。
在 RAG 和微调之间做选择之前,先在带基线的评测集上给错误分类。知识缺口靠检索解决;只有行为错误才考虑微调。

2024 年,一篇题为《Fine-Tuning or Fine-Failing?》的研究给出了一个出乎很多人意料的结果:在它测试的 RAG 设置中,微调后的模型表现反而不如原始模型。

同一年,Microsoft 的一个团队用农业数据微调模型,准确率提升了 6 个百分点以上,再加上 RAG 又提升了 5 个百分点。同样两种技术,得出相反的结果。不过两个团队的实验设置不同,谁也不能直接否定谁。

如果你是前线部署工程师(FDE),入职第一周就会听到这个问题:“你们是给我们做微调,还是做 RAG?”好的回答不是报出一个技术名称,而是一次诊断。

两个相反的结果提醒我们:没有哪种技术天然胜出。只有在客户的真实条件下测出来的数据,才能告诉你自己属于哪种情况。

模型是不知道,还是知道但做错了?

OpenAI 关于优化准确率的指南把模型失败分为两类。第一类是模型缺少知识,因为相关信息不在训练数据里。OpenAI 称之为上下文优化问题,对应的工具是检索增强生成(RAG)。

第二类是模型输出不一致或格式不对。这是模型本身的问题,答案是微调。

按 OpenAI 的说法,RAG 很有用,但只能解决模型需要从上下文中获取的那部分问题,它不会教会模型新的习惯。反过来,微调也没法让模型知道客户上周刚签的合同。

设想你为一家保险公司部署了一个内部助手,背后是几千页理赔规则。演示当天,模型编出了一条根本不存在的条款。这是知识类失败,需要改的是检索。

再假设模型引用的条款没错,但有时用表格回答,有时用段落回答,有时还漏掉案件编号。这是行为类失败,怎么调整分块都解决不了。

缺少知识的迹象

  • 编造文档中没有的信息
  • 把文档直接粘贴进提示词后就能答对
  • 在最近更新的数据上失败更多

行为出错的迹象

  • 上下文完整时仍然格式错误
  • 每次运行结果不一致
  • 即使提示词写明了要求,语气或结构仍然偏离

所以,在选择技术之前,先收集客户的真实失败案例并分类。哪一栏更长,就决定了下周的工作重点。

检索还弱时,别急着微调

如果左边一栏更长,不要急着训练,检索层可能还有很大的提升空间。Anthropic 在介绍 Contextual Retrieval 的文章中展示:仅把上下文嵌入与上下文 BM25 结合,就让前 20 个分块的检索失败率降低了 49%。

再加上重排序步骤,降幅提高到 67%。

取得这些结果,没有改动任何一个模型参数。所以在有人提到训练之前,先把 RAG 管道做到最好:检查分块是否带有上下文,是否引入了关键词检索,是否有重排序模型。

有时甚至不需要 RAG。Anthropic 指出,如果知识库小于 200,000 个 token(约 500 页),可以全部放进提示词。搭建管道之前,先问客户实际需要用到多少资料。

如果在这个范围内,直接放进提示词就是首先该尝试的方案。

什么时候值得为微调付出成本

当右边一栏很长时,微调才有意义:模型掌握了信息,却没有按客户想要的方式工作。这里 OpenAI 的指南有一条值得记住的原则:训练数据的质量比数量更重要。

实践中,一小批由客户领域专家逐条审核过的样本,应当优先于一大堆原始聊天记录。

成本也不只是 GPU 时间。Microsoft 的农业论文强调,前期成本很高,因为在新数据上微调需要大量工作,后续的推理成本也要算进去。

客户每次更新规则,RAG 管道只需重新建索引,微调后的模型却可能需要重新训练。

还有《Fine-Tuning or Fine-Failing?》指出的风险:微调之后,模型可能比一开始还差。如果没有评测集和事先测好的基线数字,你根本不会知道自己刚花了客户的钱,换来一个更差的系统。

两个矛盾结果的启示

回到开头的两项研究。Microsoft 的结果说明两种技术可以叠加:微调带来 6 个百分点以上,RAG 再加 5 个百分点。另一项研究则提醒,这种叠加并无保证。对负责部署的人来说,教训是分别测量每一层的贡献,才能知道究竟是哪一层在起作用。

也有刻意设计的混合方案。RAFT 训练模型忽略检索到的无关文档,在 PubMed、HotpotQA 和 Gorilla 三个数据集上都稳定提升了效果。这里微调教的不是新知识,而是教模型更好地使用 RAG。

换句话说,它教的是一种行为,正如 OpenAI 的分类所预测的那样。

简历上该写的不是技术名称

对想做 FDE 的开发者来说,要学的是工作顺序,而不是技术本身。养成习惯:写第一行管道代码之前先建评测集,包括 30-50 个客户真实问题、预期答案和一个基线数字。

从那以后,每个决定,无论是加重排序模型、改分块方式还是微调,都应附上一个与基线对比的数字。

看岗位描述时,留意它是否提到评测或检索质量。如果提到了,就把你搭建评测集的经验放在申请材料的最前面。

在简历上,与其写“有微调经验”,不如写清你测到了什么:检索失败率降低了多少,在客户评测集上提升了几个百分点,以及为什么选了这种方案而不是另一种。

未来几年,客户还会一直问“微调还是 RAG?”。好的 FDE 用评测集和错误分类来回答,而不是报出一个技术名称。

这篇文章对你有帮助吗?

5 个信源
路线图上的下一篇 · 阶段 3: AI 应用提示词已回滚,客户仍可能再用一分钟坏版本Langfuse SDK 默认在客户端缓存提示词 60 秒,因此要把标签当部署、评测当测试,回滚预案提前写好。