# 微调帮了一个团队，却拖累了另一个：先诊断再动手

> 按 OpenAI 的划分，缺知识用 RAG，行为不一致用微调，最终要靠客户数据上的基线来定。

原文: https://fdetimes.net/zh/guides/fine-tuning-vs-rag-diagnose-first/

2024 年，一篇题为《Fine-Tuning or Fine-Failing?》的研究给出了一个出乎很多人意料的结果：在它测试的 RAG 设置中，微调后的模型表现反而不如原始模型。

同一年，Microsoft 的一个团队用农业数据微调模型，准确率提升了 6 个百分点以上，再加上 RAG 又提升了 5 个百分点。同样两种技术，得出相反的结果。不过两个团队的实验设置不同，谁也不能直接否定谁。

如果你是前线部署工程师（FDE），入职第一周就会听到这个问题：“你们是给我们做微调，还是做 RAG？”好的回答不是报出一个技术名称，而是一次诊断。

两个相反的结果提醒我们：没有哪种技术天然胜出。只有在客户的真实条件下测出来的数据，才能告诉你自己属于哪种情况。

## 模型是不知道，还是知道但做错了？

OpenAI 关于优化准确率的指南把模型失败分为两类。第一类是模型缺少知识，因为相关信息不在训练数据里。OpenAI 称之为上下文优化问题，对应的工具是检索增强生成（RAG）。

第二类是模型输出不一致或格式不对。这是模型本身的问题，答案是微调。

按 OpenAI 的说法，RAG 很有用，但只能解决模型需要从上下文中获取的那部分问题，它不会教会模型新的习惯。反过来，微调也没法让模型知道客户上周刚签的合同。

设想你为一家保险公司部署了一个内部助手，背后是几千页理赔规则。演示当天，模型编出了一条根本不存在的条款。这是知识类失败，需要改的是检索。

再假设模型引用的条款没错，但有时用表格回答，有时用段落回答，有时还漏掉案件编号。这是行为类失败，怎么调整分块都解决不了。

所以，在选择技术之前，先收集客户的真实失败案例并分类。哪一栏更长，就决定了下周的工作重点。

## 检索还弱时，别急着微调

如果左边一栏更长，不要急着训练，检索层可能还有很大的提升空间。Anthropic 在介绍 Contextual Retrieval 的文章中展示：仅把上下文嵌入与上下文 BM25 结合，就让前 20 个分块的检索失败率降低了 49%。

再加上重排序步骤，降幅提高到 67%。

取得这些结果，没有改动任何一个模型参数。所以在有人提到训练之前，先把 RAG 管道做到最好：检查分块是否带有上下文，是否引入了关键词检索，是否有重排序模型。

有时甚至不需要 RAG。Anthropic 指出，如果知识库小于 200,000 个 token（约 500 页），可以全部放进提示词。搭建管道之前，先问客户实际需要用到多少资料。

如果在这个范围内，直接放进提示词就是首先该尝试的方案。

## 什么时候值得为微调付出成本

当右边一栏很长时，微调才有意义：模型掌握了信息，却没有按客户想要的方式工作。这里 OpenAI 的指南有一条值得记住的原则：训练数据的质量比数量更重要。

实践中，一小批由客户领域专家逐条审核过的样本，应当优先于一大堆原始聊天记录。

成本也不只是 GPU 时间。Microsoft 的农业论文强调，前期成本很高，因为在新数据上微调需要大量工作，后续的推理成本也要算进去。

客户每次更新规则，RAG 管道只需重新建索引，微调后的模型却可能需要重新训练。

还有《Fine-Tuning or Fine-Failing?》指出的风险：微调之后，模型可能比一开始还差。如果没有评测集和事先测好的基线数字，你根本不会知道自己刚花了客户的钱，换来一个更差的系统。

## 两个矛盾结果的启示

回到开头的两项研究。Microsoft 的结果说明两种技术可以叠加：微调带来 6 个百分点以上，RAG 再加 5 个百分点。另一项研究则提醒，这种叠加并无保证。对负责部署的人来说，教训是分别测量每一层的贡献，才能知道究竟是哪一层在起作用。

也有刻意设计的混合方案。RAFT 训练模型忽略检索到的无关文档，在 PubMed、HotpotQA 和 Gorilla 三个数据集上都稳定提升了效果。这里微调教的不是新知识，而是教模型更好地使用 RAG。

换句话说，它教的是一种行为，正如 OpenAI 的分类所预测的那样。

**要点:** 微调和 RAG 并不互斥。它们回答的是两个不同的问题，而只有手里有了评测集，你才知道自己面对的是哪一个问题。

## 简历上该写的不是技术名称

对想做 FDE 的开发者来说，要学的是工作顺序，而不是技术本身。养成习惯：写第一行管道代码之前先建评测集，包括 30-50 个客户真实问题、预期答案和一个基线数字。

从那以后，每个决定，无论是加重排序模型、改分块方式还是微调，都应附上一个与基线对比的数字。

看岗位描述时，留意它是否提到评测或检索质量。如果提到了，就把你搭建评测集的经验放在申请材料的最前面。

在简历上，与其写“有微调经验”，不如写清你测到了什么：检索失败率降低了多少，在客户评测集上提升了几个百分点，以及为什么选了这种方案而不是另一种。

未来几年，客户还会一直问“微调还是 RAG？”。好的 FDE 用评测集和错误分类来回答，而不是报出一个技术名称。

**本周动手试试:**

- 拿手头正在做的一个内部聊天机器人项目，收集 30-50 个真实问题和预期答案组成评测集，在修改任何东西之前先跑出基线并记录准确率。
- 把评测集里每个答错的问题归入两栏之一：“模型没有这条信息”或“有信息但格式或语气不对”。哪一栏更长，就把精力投在哪里。
- 在现有 RAG 管道中加入重排序模型或上下文分块，然后重新测量前 20 个分块的检索失败率，与原来的数字对比。

## 信源

- [Optimizing LLM Accuracy](https://developers.openai.com/api/docs/guides/optimizing-llm-accuracy)

- [RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture](https://arxiv.org/html/2401.08406v2)

- [Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models](https://arxiv.org/abs/2406.11201)

- [Introducing Contextual Retrieval](https://www.anthropic.com/news/contextual-retrieval)

- [RAFT: Adapting Language Model to Domain Specific RAG](https://arxiv.org/abs/2403.10131)
