FDE Times 数据在招 FDE 职位 882▼2 近 7 天在招职位数的变化(同口径比较):不计入本周新开始追踪的公司的职位近 7 天新增 52在招公司 185支持远程 25%美国薪资中位数 $200k招聘最多 Databricks 98
ENVI

前线部署工程师(FDE)的专业媒体

工具

在客户自己的 GPU 上微调,数据不出内网

Unsloth 号称显存占用降低 70%,单张 T4 即可训练小模型,并导出客户机器能运行的格式。

分享微博

要点速览

  • Unsloth 文档称,可以在 Colab、Kaggle 或只有 3GB 显存的个人电脑上微调;QLoRA 将基座模型量化到 4-bit,节省约 75% 的显存。
  • 训练好的模型可以导出为 GGUF,用 Ollama 或 llama.cpp 运行;用户多时可用 vLLM 提供服务。
  • 交付客户前要检查聊天模板和许可证:核心部分采用 Apache 2.0,Studio 和 CLI 采用 AGPLv3。
两条横条使用同一刻度,范围 0 到 16 GB。LoRA 让 8B 模型保持 16-bit,权重约 16GB;QLoRA 量化到 4-bit,权重约 4GB,节省约 75%,腾出的空间留给激活值和适配器。
8B 模型每个 16-bit 参数占 2 字节,仅权重就约 16GB。QLoRA 将其量化到 4-bit,节省约 75%,为显卡上的激活值和适配器留出空间。来源:Unsloth 文档;计算见正文。

一个 8B 模型的 16-bit 权重约占 16GB,这还没算训练所需的显存。如果客户只给你一张中端显卡,单凭这笔账,项目就可能在第一次会议上止步。Unsloth 瞄准的正是这个瓶颈。

Unsloth 官方仓库称,该工具训练速度提升一倍,显存占用降低 70%,适用于 LLM、扩散模型、TTS,甚至 embedding 模型。NVIDIA 在 RTX AI Garage 系列博客的一篇文章中,称 Unsloth 是全球使用最广泛的 LLM 微调开源框架之一。

对前线部署工程师(FDE)来说,吸引力不在速度。更重要的是,你可以在客户自己的基础设施里训练,再把模型导出成客户机器能运行的格式,数据全程不出客户环境。

什么时候该用?

设想一家物流公司想自动分类客服工单。它手里有几千条已标注的工单,但内部规定禁止把这些数据发给外部 API。它有一台装着单张 T4 的服务器,希望模型就跑在这台机器上。

这正是 Unsloth 适合的场景。数据不能出门,在托管大模型上做提示工程这条路就走不通。不做微调的小模型,通常又理解不了客户对各类故障的叫法。你需要的是一个学会了客户术语、能在现有硬件上运行的小模型。

第一步是检查硬件。Unsloth 文档要求 GPU 的 CUDA 计算能力不低于 7.0,涵盖 V100、T4、Titan V、RTX 20 和 50 系列、A100、H100、L40 等。客户的 T4 在列。如果客户给的是更老的卡,你得在做出任何承诺之前就弄清楚。

手算显存账

文档区分了两种方式。LoRA 让基座模型保持 16-bit,不做量化。QLoRA 把基座模型量化到 4-bit,节省约 75% 的显存。

套用到上面的例子:80 亿参数,16-bit 下每个参数 2 字节,仅权重就约 16GB。减掉 75%,剩下约 4GB,显卡其余空间留给激活值和正在训练的适配器。

这笔粗算足以让你在第一次会议上告诉客户,他们的硬件行不行。

文档还建议新手先从 Llama 3.1 (8B) 这类小型 instruct 模型入手,再逐步试验。这条建议对 FDE 很实用:小模型训练快,第一周就能跑好几轮试验,不用一等好几天。

如果只是想验证一个想法,文档称可以在 Colab 或 Kaggle 上免费微调,也可以用只有 3GB 显存的个人电脑。

导出格式决定模型住在哪里

Unsloth 仓库称,模型可以导出为 GGUF、NVFP4 和 FP8。选哪种,取决于客户怎么用这个模型。

文档把这分成两条清晰的路径。如果模型跑在单台设备上,就用 llama.cpp 转成 GGUF,在 Ollama、llama.cpp 或 LM Studio 中运行。如果有很多用户同时调用模型,比如企业系统,文档推荐用 vLLM。

在物流公司的例子里,如果只有一个客服团队在一台服务器上用这个模型,GGUF 加 Ollama 就够了,也容易交付。如果之后全公司都要通过 API 调用,就得改用 vLLM 重新规划。开始训练前就要问客户这个问题,因为它同时决定导出格式和性能的评测方式。

交付时的两个坑

第一个坑是聊天模板。Unsloth 的 GGUF 导出指南强调,推理时必须使用与训练时相同的聊天模板。两者不一致,模型在 Ollama 或 vLLM 上的效果就会变差。

这类 bug 会让模型在你的笔记本上表现完美,到了客户服务器上却答非所问,排查起来可能耗掉你一个下午。

第二个坑是许可证。Unsloth 的核心采用 Apache 2.0,但 studio/* 和 unsloth_cli/* 下的文件采用 AGPLv3。给客户打包任何东西时,都要清楚自己用了哪些部分。

把 Studio 或 CLI 放进产品之前先和客户的法务团队沟通,远比事后再拆出来省事。

别信数字,自己测

各方的速度数据并不一致。仓库称快一倍,NVIDIA 则称 Unsloth 在 NVIDIA GPU 上把 Hugging Face transformers 库提速 2.5 倍。这两个数字都是在各自的条件下测得,并非基于你客户的数据和显卡。

所以,任何数字放上幻灯片之前,先在客户的真实硬件上跑一遍。记录显存、训练时长,以及在固定测试集上的质量。

这也是最值得写进简历的内容。比如“在单张 T4 上用 QLoRA 微调 8B 模型,导出为 GGUF 在 Ollama 上运行,分类准确率从 X 提升到 Y”,这样一行就能让招聘经理看到,你把项目从数据一路做到了部署。

学习顺序是:先学 LoRA 和 QLoRA,再学聊天模板,最后学导出格式。最后这一步是你的模型对接客户真实基础设施的地方,别在这里图快。

这篇文章对你有帮助吗?

6 个信源
路线图上的下一篇 · 阶段 5: 部署上线一个 JSON 文件,省下 FDE 驻场第一天借助 Dev Containers 和 GitHub Codespaces,团队与客户工程师克隆仓库就能用上同一套工具。