两个瘦矩阵,
如何替代 千亿参数 的训练?
LoRA 与 QLoRA 从零讲起
大模型很强,但“教会它你的任务”曾经是巨头专属:微调一个 65B 模型需要 超过 780 GB 显存。这一页从“微调到底贵在哪”讲起,带你一步步看懂 LoRA(用低秩矩阵只训练 0.01% 的参数)和 QLoRA(再把基座压缩到 4-bit,65B 塞进一张 48GB 显卡)——每个关键结论都配了可以动手玩的实验,全部数据来自两篇原始论文。
—
LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu 等,Microsoft。冻结预训练权重,向 Transformer 注入可训练的低秩分解矩阵。可训练参数减少 10,000 倍,GPU 显存降低 3 倍,效果与全量微调持平或更好。
QLoRA: Efficient Finetuning of Quantized LLMs
Tim Dettmers 等,Univ. of Washington。梯度穿过冻结的 4-bit 量化模型回流到 LoRA 适配器:65B 模型单张 48GB 显卡即可微调,效果保持 16-bit 水平。
预备知识:只需要懂一件事——神经网络层做的事是矩阵乘法 y = W·x。左侧「→」按钮可随时收起目录。
为什么微调这么贵?
在理解 LoRA 之前,先得看清钱(显存)花在了哪里。
1.1预训练 vs 微调
大模型的成长分两步:预训练——在海量文本上学习通用语言能力,动辄数月、上千张卡;微调——用你自己的少量任务数据(客服对话、领域文档、风格样本……)继续训练,让模型掌握特定本领。微调通常只需几小时,听起来便宜,问题出在“要更新多少参数”。
全量微调(Full Fine-tuning)意味着更新模型的每一个参数。以 Adam 优化器 + 16-bit 混合精度训练为例,每 1 个参数在显存里实际要占的地方是:
权重本身
2 字节/参数
bf16/fp16 存储的模型权重。
梯度
2 字节/参数
反向传播时每个可训练参数都要存一份梯度。
Adam 优化器状态
8 字节/参数
Adam 为每个参数维护一阶/二阶动量(fp32),才是真正的大头。
激活值等开销
随序列长度暴涨
前向计算的中间结果,长上下文时暴涨且伴随瞬时“尖峰”;工程上常用梯度检查点(反向传播时重算中间结果,以时间换显存)大幅压缩。
1.2另一个隐形成本:每个任务一份完整副本
全量微调的产物是一个完整的新模型。GPT-3 175B 的一份 16-bit 权重文件约 350GB——如果你要为 10 个客户做 10 个定制模型,就要存储和切换 10 份 350GB。能不能只保存“任务带来的那一小部分变化”?这正是 LoRA 的切入点。
* 本实验为估算模型(悬停各部件查看口径),锚点数据来自论文:65B 全量微调 >780GB(QLoRA 论文 §1);65B QLoRA 单卡 48GB 内完成;Guanaco-7B 推理约 5GB。切换到「全量微调 + 65B」即可复现论文里的 >780GB。
LoRA:低秩适配
Low-Rank Adaptation——不改模型,只在旁边挂两个“瘦矩阵”。
2.1核心思想:变化本身就是低秩的
LoRA 论文(Hu et al., 2021)的出发点是一个经验观察:模型在适应下游任务时,权重的“变化量” ΔW 的内在秩(intrinsic rank)非常低。白话翻译:把模型从“通用”调成“懂你的任务”,并不需要改动权重矩阵里的大部分信息——真正重要的调整方向只有寥寥几个。
类比:预训练模型像一位受过完整教育的翻译,学会“医疗口译”不需要重造大脑,只需要一段小而聚焦的专项调整。LoRA 就是把这个“专项调整”参数化了:
- 冻结原权重
W₀(蓝色,完全不更新、不存梯度); - 把变化量写成两个瘦矩阵的乘积
ΔW = B·A(橙色,只训练这两个); - 推理时直接把两部分相加:
h = W₀x + B·A·x。
省多少?若 W₀ 是 d×k 的大矩阵,全量训练要更新 d×k 个参数;而 B∈ℝd×r、A∈ℝr×k,只需 r×(d+k) 个,其中秩 r ≪ min(d,k)(实践中常取 1~64)。页面顶部的矩阵沙盒就是在演示这件事——把橙色滑块从右往左拉,看参数量坍缩。
2.2数学原理:一个前向公式 + 一个参数公式
把上面的思想写成论文里的形式。对任意一层,原前向计算是 h = W₀x;LoRA 版本是:
可训练参数量:每个被 LoRA 化的 d×d 权重矩阵,新增 2·d·r 个参数(B 贡献 d·r,A 贡献 r·d)。若一个 L 层模型每层挂 n 个矩阵,总可训练参数为:
用 GPT-3 175B 验证(d=12288,96 层,只挂 Wq、Wv 两个矩阵):
下面这个计算器可以换成你关心的模型,亲手算一遍:
—
2.3四个关键设计(都是论文里反复推敲过的)
初始化:A 随机高斯,B 置零
训练开始时 ΔW = B·A = 0,模型行为和预训练模型分毫不差,然后从这条“零点”出发平滑学出变化量。若 A、B 都随机初始化,第一步输出就会被随机噪声污染,预训练能力先损后补,得不偿失。
缩放:ΔWx 乘以 α/r
α 是一个与 r 解耦的常数。论文实践:α 直接设为第一次尝试的 r,之后不再调——因为在 Adam 优化下调 α 和调学习率近似等价。好处是换 r 做实验时无需重新调学习率。
挂在哪里:注意力 Wq、Wv
原论文在 Transformer 里只适配自注意力的投影矩阵,实验发现 Wq+Wv 组合性价比最高;MLP、LayerNorm 全部不动。(后来 QLoRA 修正了这个结论:大模型上应挂全部线性层,见 3.5。)
推理零延迟:训练完可合并
部署前直接计算 W = W₀ + BA,网络结构与原模型完全一致。对比:Adapter 类串行方法必须逐层穿过插入模块,论文实测最高增加约 30% 推理延迟(批量=1 在线推理时最严重)。
2.4效果与证据:秩小到离谱也够用
LoRA 在 RoBERTa、DeBERTa、GPT-2、GPT-3 上与全量微调持平或更好(论文摘要原话),同时训练吞吐更高(可训练参数少,梯度计算轻)。更有说服力的是关于“秩”的消融实验:
- r=1 都够用:在 WikiSQL、MultiNLI 任务上用 GPT-3 实验,适配 Wq、Wv 时秩取 1 就能打平甚至超过全量微调——即使 d=12288。这直接支撑了“变化量是低秩的”这一核心假设。
- 广比深重要:适配两个矩阵、每个 r=4,优于只适配一个矩阵、r=8(参数量相同)。
- 高秩在学什么?论文对不同 r 的训练结果做子空间分析:r=8 与 r=64 学到的 top 奇异方向高度重叠(相似度 > 0.5)。也就是说,加大 r 主要是在叠加随机噪声方向,而不是学到新东西。
为什么把 B 初始化成全零,而不是 A、B 都随机?
r=1 时 GPT-3 只训练 4.7M 参数(0.0027%),为什么就足够学好一个任务?
QLoRA:把冻结基座压到 4-bit
QLoRA = 量化(Quantization)+ LoRA。回答一个问题:能不能把那个“冻结不动的 W₀”用 4 bit 存储,同时微调效果不掉?
3.1量化基础:16 个格子怎么放千军万马
量化就是用更少的比特表示数字。fp16 每个权重占 16 bit,4-bit 占 4 bit——仅权重存储就缩小 4 倍。代价是:4 bit 只有 2⁴ = 16 个可用取值,每个权重必须被“吸附”到最近的代表值上,产生量化误差。全部学问都在于:这 16 个格子放在哪里最聪明?
QLoRA 论文首先给出块状量化的基座做法(对 absmax 归一化后四舍五入):
为什么要分块(每 64 个权重一组)?因为Transformer 权重里存在少量绝对值特别大的 outlier。如果全模型共用一个缩放常数,一个 outlier 会把其余所有权重压到 0 附近、全部丢失;分块则把 outlier 隔离在它自己的小组里,其他组照常保精度。计算时再用 x̂ = 常数 × 量化值 反量化回浮点。
3.2NF4:按权重分布的“形状”来摆格子
均匀的 INT4 格子在数学上均匀,但权重不均匀——神经网络权重高度集中在 0 附近、近似零均值正态分布(论文附录 F 用 Shapiro-Wilk 检验验证了这一点)。均匀格子意味着大量权重挤进中间两三个格子,而两端的格子几乎空置。NF4(4-bit NormalFloat)的解法是按正态分布的分位数摆放 16 个代表值,让每个格子“承装”等量的权重——论文称之为对正态分布权重“信息论意义上最优”的数据类型。构造公式:
彩点 = 该数据类型的 16 个代表值(点越大,落进这个格子的权重越多);灰蓝柱 = 从 N(0,1) 采样的权重直方图,青色曲线 = 理论正态分布。可以清楚看到 NF4 的格子“跟着分布形状走”。论文佐证(Pile 困惑度,越低越好):Int4 34.34 / FP4 31.07 / NF4+双重量化 27.41,与 BF16(27.20)几乎持平。
3.3双重量化:给“缩放常数”再打个包
分块量化引入了新开销:每 64 个权重要存一个 32-bit 缩放常数 c₁,平摊下来是 32/64 = 0.5 bit/参数——相当于 4-bit 本体被加了 12.5% 的“包装费”。双重量化(Double Quantization)的思路:包装费本身也能压缩——把每 64 个常数组成一组,存成 8-bit 的 c₁',每组再共享一个 32-bit 二级常数 c₂:
3.4分页优化器:治好显存的“瞬时尖峰”
训练时显存占用不是平滑曲线:当某个 batch 的序列特别长,优化器状态会瞬间申请一大块显存,哪怕平均值完全够用,也可能在尖峰处 OOM(显存溢出)。分页优化器(Paged Optimizers)借用 NVIDIA 统一内存(Unified Memory)机制:显存吃紧时,优化器状态自动整页迁移到 CPU 内存,反向传播需要时再迁回——相当于给 GPU 装了操作系统的“虚拟内存换页”。代价只是偶尔的吞吐波动,换来的是不再因尖峰而崩溃。
3.5完整流程:梯度怎么流过 4-bit 的冻结权重?
把三个组件拼起来,QLoRA 的训练循环是(论文式 5):
论文最重要的四条实证结论(这是 QLoRA 真正的干货):
4-bit 不掉点
多任务平均 MMLU:NF4+双重量化 53.1 vs BF16 全量 53.0——量化基座不但没伤,还顺带超过了 FP4(52.2)。
LoRA 必须挂满所有线性层
只挂注意力投影(LoRA 论文原方案)在量化基座上追不上 16-bit 全量微调;把 q/k/v/o + MLP 全部线性层挂上后才追平。这是 QLoRA 相对原始 LoRA 用法的关键修正。
挂满之后,r 反而不重要
在全部线性层都挂适配器的前提下,改变 r 对效果几乎没有影响(论文反复验证)。所以放心用大一点的 r 换稳定性,参数量依然微不足道。
数据质量 ≫ 数据数量
用仅 9k 条人工标注的 OASST1 数据训出的 Guanaco,在聊天评测中胜过用 45 万条 FLAN v2 训的模型。挑数据比堆数据重要。
NF4 为什么按正态分布分位数选 16 个代表值,而不是均匀摆放?
双重量化省的 0.373 bit/参数是怎么算出来的?
全量微调 · LoRA · QLoRA 三方对照
显存数字来自本页显存计算器的估算口径(12 字节/参数 + 激活估计),锚点处已用论文实测值校准。
| 维度 | 全量微调 | LoRA | QLoRA |
|---|---|---|---|
| 可训练参数 | 100% | 约 0.002% ~ 1% | 同 LoRA |
| 基座存储精度 | 16-bit | 16-bit | 4-bit NF4(冻结) |
| 训练显存 · 7B | ≈ 86 GB | ≈ 16 GB | ≈ 5~6 GB |
| 训练显存 · 65B | > 780 GB(论文实测) | ≈ 140 GB | < 48 GB(论文实测,单卡) |
| 任务质量 | 上限最高 | 常规下游任务持平或更好 | 挂满线性层后追平 16-bit 微调 |
| 推理延迟 | 基准 | 零(可合并 W₀+BA) | 略增(读取时反量化开销) |
| 多任务部署 | 每任务一份完整模型 | 每任务一个 MB 级适配器 | 同 LoRA,且共享一份 4-bit 基座 |
| 适合场景 | 大幅注入新知识、预算充足 | 多数下游适配任务的默认选择 | 显卡有限 / 模型很大 / 多任务共享 |
动手实践指南
直接采用 QLoRA 论文附录 B 验证过的超参数起步,然后只微调学习率。
5.1论文级超参数速查
| 超参数 | 推荐值 | 说明 / 出处 |
|---|---|---|
| 秩 r | 64 | QLoRA 论文值;挂满线性层时 r 不敏感,取大求稳 |
| α(lora_alpha) | 16 | QLoRA 论文值;LoRA 论文建议设为首次尝试的 r 后不再调 |
| 目标层 | 所有线性层 | QLoRA 关键发现:只挂注意力层追不上 16-bit 效果 |
| lora_dropout | 0.1(≤13B)/ 0.05(≥33B) | QLoRA 论文附录 B.2 |
| 学习率 | 2e-4(7B/13B)/ 1e-4(33B/65B) | 恒定学习率调度(constant),LoRA 类微调常用 1e-4~3e-4 |
| 计算精度 | bf16 | 论文指出 fp16 下约 20% 的 7B 训练无法正常完成,务必用 bf16 |
| 优化器 | paged_adamw_32bit | 分页优化器,防显存尖峰 OOM |
| 批大小 | 16~128(可用梯度累积凑) | QLoRA 论文实验范围 |
5.2最小可运行代码(HuggingFace PEFT + bitsandbytes)
这正是 QLoRA 官方仓库(artidoro/qlora)与 bitsandbytes 的标准用法:
from transformers import AutoModelForCausalLM, BitsAndBytesConfig from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training import torch # ① 以 4-bit NF4 + 双重量化加载冻结基座(QLoRA 三件套的前两件) bnb = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", # NF4,不要用默认 fp4 bnb_4bit_use_double_quant=True, # 双重量化,省 0.37 bit/参数 bnb_4bit_compute_dtype=torch.bfloat16, # 计算 bf16(fp16 不稳) ) model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf", quantization_config=bnb) model = prepare_model_for_kbit_training(model) # ② 在所有线性层挂 LoRA 适配器(QLoRA 论文的关键发现) cfg = LoraConfig( r=64, lora_alpha=16, target_modules=["q_proj","k_proj","v_proj","o_proj", "gate_proj","up_proj","down_proj"], lora_dropout=0.05, task_type="CAUSAL_LM", ) model = get_peft_model(model, cfg) # 此刻起只有适配器可训练 model.print_trainable_parameters() # 典型输出:~0.2% 参数可训练
5.3显卡速查(估算口径与本页计算器一致)
| 模型 | 全量微调 | LoRA (bf16 基座) | QLoRA (4-bit) |
|---|---|---|---|
| 7B | ≈ 86 GB | ≈ 16 GB | ≈ 5~6 GB(Guanaco-7B 部署约 5GB) |
| 13B | ≈ 160 GB | ≈ 29 GB | ≈ 10 GB |
| 33B | ≈ 400 GB | ≈ 72 GB | ≈ 24 GB(论文:24GB 消费卡 <12h 完成) |
| 65B | > 780 GB | ≈ 140 GB | < 48 GB(论文:单卡 48GB) |
5.4常见坑
- 量化类型忘了选 nf4:bitsandbytes 默认是 fp4,必须显式指定
nf4,这是 QLoRA 效果的关键。 - 用 fp16 而不是 bf16:论文与官方仓库都报告 fp16 训练容易发散/中断,Hopper 之前的卡请确认支持 bf16(RTX 30 系以上)。
- 只挂注意力层:在量化基座上这是效果差距的主因,按论文挂满全部线性层。
- 数据不精:9k 条高质量数据胜过 45 万条杂凑数据(QLoRA 论文),先花时间洗数据。
- 忘记合并:追求线上零延迟时,用
merge_and_unload()把适配器并回基座。 - 估算显存漏掉不量化的层:输出头(lm_head)与词嵌入默认不参与 4-bit 量化(保持 16-bit),7B 模型上约 0.5~0.7GB,是显存估算偏差的常见来源。
常见问题
LoRA / QLoRA 微调完的产物是什么?怎么部署?
r 到底选多大?α 呢?
QLoRA 推理会变慢吗?
什么任务适合 LoRA/QLoRA,什么必须全量微调?
LoRA 和 Adapter、Prefix-tuning 有什么本质区别?
Stable Diffusion 里的 LoRA 是同一个东西吗?
NF4 那张 16 值的表是怎么来的?我能自己算吗?
显存还是不够,先砍什么?
paged_adamw_32bit;⑤ 最后才考虑减小 r(通常影响最小)。为什么不直接微调 4-bit 权重,非要挂一个 LoRA?
LoRA / QLoRA 微调会让模型“忘记”原有能力吗?
一手参考资料
本页全部关键数字、公式与结论均可溯源到以下第一手资料。
- LoRA 原始论文:Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., Chen, W. LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685, ICLR 2022. arxiv.org/abs/2106.09685
- LoRA 官方代码库:microsoft/LoRA(loralib,含 GPT-2 / RoBERTa / DeBERTa 实现)。github.com/microsoft/LoRA
- QLoRA 原始论文:Dettmers, T., Pagnoni, A., Holtzman, A., Zettlemoyer, L. QLoRA: Efficient Finetuning of Quantized LLMs. arXiv:2305.14314, NeurIPS 2023. arxiv.org/abs/2305.14314
- QLoRA 官方代码库:artidoro/qlora(Guanaco 训练脚本与配置)。github.com/artidoro/qlora
- bitsandbytes:Dettmers, T. 等,NF4/双重量化/分页优化器的 CUDA 内核实现。github.com/TimDettmers/bitsandbytes
- HuggingFace PEFT 文档:LoRA/QLoRA 的工业化实现与训练 API。huggingface.co/docs/peft