微调帮了一个团队,却拖累了另一个:先诊断再动手
按 OpenAI 的划分,缺知识用 RAG,行为不一致用微调,最终要靠客户数据上的基线来定。

要点速览
- RAG 解决模型不知道的问题,微调解决模型知道却做错的问题。两者是不同的问题,需要不同的工具。
- 检索层往往还有很大空间:Anthropic 用上下文检索把检索失败率降低 49%,加上重排序模型后降低 67%,全程没有微调。
- 微调可以与 RAG 叠加(Microsoft:提升 6 个百分点以上,再加 5 个百分点),但也可能让模型变差。没有基线评测,不要上线。
2024 年,一篇题为《Fine-Tuning or Fine-Failing?》的研究给出了一个出乎很多人意料的结果:在它测试的 RAG 设置中,微调后的模型表现反而不如原始模型。
同一年,Microsoft 的一个团队用农业数据微调模型,准确率提升了 6 个百分点以上,再加上 RAG 又提升了 5 个百分点。同样两种技术,得出相反的结果。不过两个团队的实验设置不同,谁也不能直接否定谁。
如果你是前线部署工程师(FDE),入职第一周就会听到这个问题:“你们是给我们做微调,还是做 RAG?”好的回答不是报出一个技术名称,而是一次诊断。
两个相反的结果提醒我们:没有哪种技术天然胜出。只有在客户的真实条件下测出来的数据,才能告诉你自己属于哪种情况。
模型是不知道,还是知道但做错了?
OpenAI 关于优化准确率的指南把模型失败分为两类。第一类是模型缺少知识,因为相关信息不在训练数据里。OpenAI 称之为上下文优化问题,对应的工具是检索增强生成(RAG)。
第二类是模型输出不一致或格式不对。这是模型本身的问题,答案是微调。
按 OpenAI 的说法,RAG 很有用,但只能解决模型需要从上下文中获取的那部分问题,它不会教会模型新的习惯。反过来,微调也没法让模型知道客户上周刚签的合同。
设想你为一家保险公司部署了一个内部助手,背后是几千页理赔规则。演示当天,模型编出了一条根本不存在的条款。这是知识类失败,需要改的是检索。
再假设模型引用的条款没错,但有时用表格回答,有时用段落回答,有时还漏掉案件编号。这是行为类失败,怎么调整分块都解决不了。
缺少知识的迹象
- 编造文档中没有的信息
- 把文档直接粘贴进提示词后就能答对
- 在最近更新的数据上失败更多
行为出错的迹象
- 上下文完整时仍然格式错误
- 每次运行结果不一致
- 即使提示词写明了要求,语气或结构仍然偏离
所以,在选择技术之前,先收集客户的真实失败案例并分类。哪一栏更长,就决定了下周的工作重点。
检索还弱时,别急着微调
如果左边一栏更长,不要急着训练,检索层可能还有很大的提升空间。Anthropic 在介绍 Contextual Retrieval 的文章中展示:仅把上下文嵌入与上下文 BM25 结合,就让前 20 个分块的检索失败率降低了 49%。
再加上重排序步骤,降幅提高到 67%。
取得这些结果,没有改动任何一个模型参数。所以在有人提到训练之前,先把 RAG 管道做到最好:检查分块是否带有上下文,是否引入了关键词检索,是否有重排序模型。
有时甚至不需要 RAG。Anthropic 指出,如果知识库小于 200,000 个 token(约 500 页),可以全部放进提示词。搭建管道之前,先问客户实际需要用到多少资料。
如果在这个范围内,直接放进提示词就是首先该尝试的方案。
什么时候值得为微调付出成本
当右边一栏很长时,微调才有意义:模型掌握了信息,却没有按客户想要的方式工作。这里 OpenAI 的指南有一条值得记住的原则:训练数据的质量比数量更重要。
实践中,一小批由客户领域专家逐条审核过的样本,应当优先于一大堆原始聊天记录。
成本也不只是 GPU 时间。Microsoft 的农业论文强调,前期成本很高,因为在新数据上微调需要大量工作,后续的推理成本也要算进去。
客户每次更新规则,RAG 管道只需重新建索引,微调后的模型却可能需要重新训练。
还有《Fine-Tuning or Fine-Failing?》指出的风险:微调之后,模型可能比一开始还差。如果没有评测集和事先测好的基线数字,你根本不会知道自己刚花了客户的钱,换来一个更差的系统。
两个矛盾结果的启示
回到开头的两项研究。Microsoft 的结果说明两种技术可以叠加:微调带来 6 个百分点以上,RAG 再加 5 个百分点。另一项研究则提醒,这种叠加并无保证。对负责部署的人来说,教训是分别测量每一层的贡献,才能知道究竟是哪一层在起作用。
也有刻意设计的混合方案。RAFT 训练模型忽略检索到的无关文档,在 PubMed、HotpotQA 和 Gorilla 三个数据集上都稳定提升了效果。这里微调教的不是新知识,而是教模型更好地使用 RAG。
换句话说,它教的是一种行为,正如 OpenAI 的分类所预测的那样。
简历上该写的不是技术名称
对想做 FDE 的开发者来说,要学的是工作顺序,而不是技术本身。养成习惯:写第一行管道代码之前先建评测集,包括 30-50 个客户真实问题、预期答案和一个基线数字。
从那以后,每个决定,无论是加重排序模型、改分块方式还是微调,都应附上一个与基线对比的数字。
看岗位描述时,留意它是否提到评测或检索质量。如果提到了,就把你搭建评测集的经验放在申请材料的最前面。
在简历上,与其写“有微调经验”,不如写清你测到了什么:检索失败率降低了多少,在客户评测集上提升了几个百分点,以及为什么选了这种方案而不是另一种。
未来几年,客户还会一直问“微调还是 RAG?”。好的 FDE 用评测集和错误分类来回答,而不是报出一个技术名称。
这篇文章对你有帮助吗?
感谢你的反馈!
5 个信源
- Optimizing LLM Accuracy
- RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture · 2024-01-17
- Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models · 2024-06-17
- Introducing Contextual Retrieval · 2024-09-19
- RAFT: Adapting Language Model to Domain Specific RAG · 2024-03-15