# 在客户自己的 GPU 上微调，数据不出内网

> Unsloth 号称显存占用降低 70%，单张 T4 即可训练小模型，并导出客户机器能运行的格式。

原文: https://fdetimes.net/zh/tools/unsloth-fine-tune-small-models-one-gpu/

一个 8B 模型的 16-bit 权重约占 16GB，这还没算训练所需的显存。如果客户只给你一张中端显卡，单凭这笔账，项目就可能在第一次会议上止步。Unsloth 瞄准的正是这个瓶颈。

Unsloth 官方仓库称，该工具训练速度提升一倍，显存占用降低 70%，适用于 LLM、扩散模型、TTS，甚至 embedding 模型。NVIDIA 在 RTX AI Garage 系列博客的一篇文章中，称 Unsloth 是全球使用最广泛的 LLM 微调开源框架之一。

对前线部署工程师（FDE）来说，吸引力不在速度。更重要的是，你可以在客户自己的基础设施里训练，再把模型导出成客户机器能运行的格式，数据全程不出客户环境。

## 什么时候该用？

设想一家物流公司想自动分类客服工单。它手里有几千条已标注的工单，但内部规定禁止把这些数据发给外部 API。它有一台装着单张 T4 的服务器，希望模型就跑在这台机器上。

这正是 Unsloth 适合的场景。数据不能出门，在托管大模型上做提示工程这条路就走不通。不做微调的小模型，通常又理解不了客户对各类故障的叫法。你需要的是一个学会了客户术语、能在现有硬件上运行的小模型。

第一步是检查硬件。Unsloth 文档要求 GPU 的 CUDA 计算能力不低于 7.0，涵盖 V100、T4、Titan V、RTX 20 和 50 系列、A100、H100、L40 等。客户的 T4 在列。如果客户给的是更老的卡，你得在做出任何承诺之前就弄清楚。

## 手算显存账

文档区分了两种方式。LoRA 让基座模型保持 16-bit，不做量化。QLoRA 把基座模型量化到 4-bit，节省约 75% 的显存。

套用到上面的例子：80 亿参数，16-bit 下每个参数 2 字节，仅权重就约 16GB。减掉 75%，剩下约 4GB，显卡其余空间留给激活值和正在训练的适配器。

这笔粗算足以让你在第一次会议上告诉客户，他们的硬件行不行。

文档还建议新手先从 Llama 3.1 (8B) 这类小型 instruct 模型入手，再逐步试验。这条建议对 FDE 很实用：小模型训练快，第一周就能跑好几轮试验，不用一等好几天。

如果只是想验证一个想法，文档称可以在 Colab 或 Kaggle 上免费微调，也可以用只有 3GB 显存的个人电脑。

## 导出格式决定模型住在哪里

Unsloth 仓库称，模型可以导出为 GGUF、NVFP4 和 FP8。选哪种，取决于客户怎么用这个模型。

文档把这分成两条清晰的路径。如果模型跑在单台设备上，就用 llama.cpp 转成 GGUF，在 Ollama、llama.cpp 或 LM Studio 中运行。如果有很多用户同时调用模型，比如企业系统，文档推荐用 vLLM。

在物流公司的例子里，如果只有一个客服团队在一台服务器上用这个模型，GGUF 加 Ollama 就够了，也容易交付。如果之后全公司都要通过 API 调用，就得改用 vLLM 重新规划。开始训练前就要问客户这个问题，因为它同时决定导出格式和性能的评测方式。

**要点:** 模型只有在客户机器上正确运行才有价值，在你的笔记本上跑得好不算数。

## 交付时的两个坑

第一个坑是聊天模板。Unsloth 的 GGUF 导出指南强调，推理时必须使用与训练时相同的聊天模板。两者不一致，模型在 Ollama 或 vLLM 上的效果就会变差。

这类 bug 会让模型在你的笔记本上表现完美，到了客户服务器上却答非所问，排查起来可能耗掉你一个下午。

第二个坑是许可证。Unsloth 的核心采用 Apache 2.0，但 `studio/*` 和 `unsloth_cli/*` 下的文件采用 AGPLv3。给客户打包任何东西时，都要清楚自己用了哪些部分。

把 Studio 或 CLI 放进产品之前先和客户的法务团队沟通，远比事后再拆出来省事。

## 别信数字，自己测

各方的速度数据并不一致。仓库称快一倍，NVIDIA 则称 Unsloth 在 NVIDIA GPU 上把 Hugging Face transformers 库提速 2.5 倍。这两个数字都是在各自的条件下测得，并非基于你客户的数据和显卡。

所以，任何数字放上幻灯片之前，先在客户的真实硬件上跑一遍。记录显存、训练时长，以及在固定测试集上的质量。

这也是最值得写进简历的内容。比如“在单张 T4 上用 QLoRA 微调 8B 模型，导出为 GGUF 在 Ollama 上运行，分类准确率从 X 提升到 Y”，这样一行就能让招聘经理看到，你把项目从数据一路做到了部署。

学习顺序是：先学 LoRA 和 QLoRA，再学聊天模板，最后学导出格式。最后这一步是你的模型对接客户真实基础设施的地方，别在这里图快。

**本周动手试试:**

- 打开一个免费的 Colab 或 Kaggle notebook，用几百条自己构造的样本，以 QLoRA 微调一个小型 instruct 模型
- 把模型导出为 GGUF，用 Ollama 运行，分别用正确和错误的聊天模板对比回答
- 在同一测试集上记录微调前后的指标，整理成简历上有数字支撑的一行

## 信源

- [GitHub - unslothai/unsloth](https://github.com/unslothai/unsloth)

- [unsloth/LICENSE at main · unslothai/unsloth](https://github.com/unslothai/unsloth/blob/main/LICENSE)

- [Fine-tuning LLMs Guide](https://unsloth.ai/docs/get-started/fine-tuning-llms-guide)

- [Saving to GGUF](https://unsloth.ai/docs/basics/inference-and-deployment/saving-to-gguf)

- [Unsloth Requirements](https://unsloth.ai/docs/get-started/fine-tuning-for-beginners/unsloth-requirements)

- [How to Fine-Tune an LLM on NVIDIA GPUs With Unsloth](https://blogs.nvidia.com/blog/rtx-ai-garage-fine-tuning/)
