参数高效微调 PEFT · 交互式讲解

两个瘦矩阵,
如何替代 千亿参数 的训练?
LoRA 与 QLoRA 从零讲起

大模型很强,但“教会它你的任务”曾经是巨头专属:微调一个 65B 模型需要 超过 780 GB 显存。这一页从“微调到底贵在哪”讲起,带你一步步看懂 LoRA(用低秩矩阵只训练 0.01% 的参数)和 QLoRA(再把基座压缩到 4-bit,65B 塞进一张 48GB 显卡)——每个关键结论都配了可以动手玩的实验,全部数据来自两篇原始论文。

蓝色 = 冻结的基座权重(不动) 橙色 = 可训练参数(LoRA 适配器) 青色 = 量化 / QLoRA 相关
互动实验 0低秩矩阵沙盒:拖动秩 r,看参数量如何坍缩d = 4096(LLaMA-7B 的隐藏维度)
橙色条纹的宽/高与 r 成真实比例——r 越小,适配器越“瘦”

—

LoRA · 2021

LoRA: Low-Rank Adaptation of Large Language Models

Edward J. Hu 等,Microsoft。冻结预训练权重,向 Transformer 注入可训练的低秩分解矩阵。可训练参数减少 10,000 倍,GPU 显存降低 3 倍,效果与全量微调持平或更好。

arXiv:2106.09685 · ICLR 2022
QLoRA · 2023

QLoRA: Efficient Finetuning of Quantized LLMs

Tim Dettmers 等,Univ. of Washington。梯度穿过冻结的 4-bit 量化模型回流到 LoRA 适配器:65B 模型单张 48GB 显卡即可微调,效果保持 16-bit 水平。

arXiv:2305.14314 · NeurIPS 2023

预备知识:只需要懂一件事——神经网络层做的事是矩阵乘法 y = W·x。左侧「→」按钮可随时收起目录。

01

为什么微调这么贵?

在理解 LoRA 之前,先得看清钱(显存)花在了哪里。

1.1预训练 vs 微调

大模型的成长分两步:预训练——在海量文本上学习通用语言能力,动辄数月、上千张卡;微调——用你自己的少量任务数据(客服对话、领域文档、风格样本……)继续训练,让模型掌握特定本领。微调通常只需几小时,听起来便宜,问题出在“要更新多少参数”。

全量微调(Full Fine-tuning)意味着更新模型的每一个参数。以 Adam 优化器 + 16-bit 混合精度训练为例,每 1 个参数在显存里实际要占的地方是:

W权重本身

2 字节/参数
bf16/fp16 存储的模型权重。

g梯度

2 字节/参数
反向传播时每个可训练参数都要存一份梯度。

m,vAdam 优化器状态

8 字节/参数
Adam 为每个参数维护一阶/二阶动量(fp32),才是真正的大头。

a激活值等开销

随序列长度暴涨
前向计算的中间结果,长上下文时暴涨且伴随瞬时“尖峰”;工程上常用梯度检查点(反向传播时重算中间结果,以时间换显存)大幅压缩。

📌 关键算术
每参数约 12 字节起:2(权重) + 2(梯度) + 8(Adam 状态)。所以 QLoRA 论文开篇写道:“常规 16-bit 微调一个 LLaMA 65B 模型,需要超过 780 GB 的 GPU 显存”——而市面上最大的单卡(A100/H100 80GB)连它的零头都放不下,除非堆 10 张以上的卡。

1.2另一个隐形成本:每个任务一份完整副本

全量微调的产物是一个完整的新模型。GPT-3 175B 的一份 16-bit 权重文件约 350GB——如果你要为 10 个客户做 10 个定制模型,就要存储和切换 10 份 350GB。能不能只保存“任务带来的那一小部分变化”?这正是 LoRA 的切入点。

互动实验 A显存计算器:三种微调方式差多少?拖动滑块 / 点击切换
估算总显存需求
—
相对全量微调
—
单卡放下?
—

* 本实验为估算模型(悬停各部件查看口径),锚点数据来自论文:65B 全量微调 >780GB(QLoRA 论文 §1);65B QLoRA 单卡 48GB 内完成;Guanaco-7B 推理约 5GB。切换到「全量微调 + 65B」即可复现论文里的 >780GB。

02

LoRA:低秩适配

Low-Rank Adaptation——不改模型,只在旁边挂两个“瘦矩阵”。

2.1核心思想:变化本身就是低秩的

LoRA 论文(Hu et al., 2021)的出发点是一个经验观察:模型在适应下游任务时,权重的“变化量” ΔW 的内在秩(intrinsic rank)非常低。白话翻译:把模型从“通用”调成“懂你的任务”,并不需要改动权重矩阵里的大部分信息——真正重要的调整方向只有寥寥几个。

类比:预训练模型像一位受过完整教育的翻译,学会“医疗口译”不需要重造大脑,只需要一段小而聚焦的专项调整。LoRA 就是把这个“专项调整”参数化了:

📖 名词解释:到底什么是“秩”(rank)?
把矩阵想象成一台“变换机器”,秩就是这台机器能输出的独立方向数。秩 r=8 的矩阵,无论输入什么,输出都只会落在 8 个方向张成的一层薄薄的空间里;r 越大,能表达的变换越丰富,参数也越多。而“低秩”意味着高度可压缩:一个近似低秩的大矩阵,可以拆成两条细长矩阵的乘积而几乎不丢信息——LoRA 的赌注就是:微调带来的变化量,恰好是这种“简单”的变化。
  • 冻结原权重 W₀(蓝色,完全不更新、不存梯度);
  • 把变化量写成两个瘦矩阵的乘积 ΔW = B·A(橙色,只训练这两个);
  • 推理时直接把两部分相加:h = W₀x + B·A·x。

省多少?若 W₀ 是 d×k 的大矩阵,全量训练要更新 d×k 个参数;而 B∈ℝd×r、A∈ℝr×k,只需 r×(d+k) 个,其中秩 r ≪ min(d,k)(实践中常取 1~64)。页面顶部的矩阵沙盒就是在演示这件事——把橙色滑块从右往左拉,看参数量坍缩。

x W₀ 冻结 预训练权重 · 不更新 A B 可训练旁路(r 维瓶颈) Adapter 等串行方案 → 有延迟 + h h = W₀x + (α/r)·BAx 训练时:梯度只流向 A、B 部署时:可合并 W = W₀ + BA → 零额外推理延迟 LoRA 论文 Figure 1 重绘
LoRA 的并行旁路结构:主路冻结,旁路可训练,输出相加。对比下方串行方案(Adapter),LoRA 不在信息主干上插入任何层。

2.2数学原理:一个前向公式 + 一个参数公式

把上面的思想写成论文里的形式。对任意一层,原前向计算是 h = W₀x;LoRA 版本是:

h = W₀x + (α/r) · BAx   // W₀∈ℝ^(d×k) 冻结 · B∈ℝ^(d×r) · A∈ℝ^(r×k) · r ≪ min(d,k)
其中 α/r 是缩放因子(2.3 节细讲)。训练时 W₀ 的梯度完全不需要计算和存储——优化器只看得见 A 和 B。

可训练参数量:每个被 LoRA 化的 d×d 权重矩阵,新增 2·d·r 个参数(B 贡献 d·r,A 贡献 r·d)。若一个 L 层模型每层挂 n 个矩阵,总可训练参数为:

ΘLoRA = n × L × 2 × d × r   // 对比全量微调 Θ_full ≈ 全部参数

用 GPT-3 175B 验证(d=12288,96 层,只挂 Wq、Wv 两个矩阵):

4.7M
r=1 时可训练参数(论文数值)
0.0027%
占 175B 总参数的比例
350GB→35MB
任务检查点体积(论文数值)
10,000×
可训练参数缩减倍数(摘要原文)

下面这个计算器可以换成你关心的模型,亲手算一遍:

互动实验 BLoRA 参数量计算器估算口径:目标矩阵均按 d×d 近似
可训练参数
—
占全模型比例
—
适配器文件大小 (fp16)
—

—

2.3四个关键设计(都是论文里反复推敲过的)

1初始化:A 随机高斯,B 置零

训练开始时 ΔW = B·A = 0,模型行为和预训练模型分毫不差,然后从这条“零点”出发平滑学出变化量。若 A、B 都随机初始化,第一步输出就会被随机噪声污染,预训练能力先损后补,得不偿失。

2缩放:ΔWx 乘以 α/r

α 是一个与 r 解耦的常数。论文实践:α 直接设为第一次尝试的 r,之后不再调——因为在 Adam 优化下调 α 和调学习率近似等价。好处是换 r 做实验时无需重新调学习率。

3挂在哪里:注意力 Wq、Wv

原论文在 Transformer 里只适配自注意力的投影矩阵,实验发现 Wq+Wv 组合性价比最高;MLP、LayerNorm 全部不动。(后来 QLoRA 修正了这个结论:大模型上应挂全部线性层,见 3.5。)

4推理零延迟:训练完可合并

部署前直接计算 W = W₀ + BA,网络结构与原模型完全一致。对比:Adapter 类串行方法必须逐层穿过插入模块,论文实测最高增加约 30% 推理延迟(批量=1 在线推理时最严重)。

小实验α/r 缩放:为什么换 r 不用重调学习率?
实际缩放 α/r
2.00×
白话解读
—

2.4效果与证据:秩小到离谱也够用

LoRA 在 RoBERTa、DeBERTa、GPT-2、GPT-3 上与全量微调持平或更好(论文摘要原话),同时训练吞吐更高(可训练参数少,梯度计算轻)。更有说服力的是关于“秩”的消融实验:

  • r=1 都够用:在 WikiSQL、MultiNLI 任务上用 GPT-3 实验,适配 Wq、Wv 时秩取 1 就能打平甚至超过全量微调——即使 d=12288。这直接支撑了“变化量是低秩的”这一核心假设。
  • 广比深重要:适配两个矩阵、每个 r=4,优于只适配一个矩阵、r=8(参数量相同)。
  • 高秩在学什么?论文对不同 r 的训练结果做子空间分析:r=8 与 r=64 学到的 top 奇异方向高度重叠(相似度 > 0.5)。也就是说,加大 r 主要是在叠加随机噪声方向,而不是学到新东西。
🧠 检查理解(§2)
为什么把 B 初始化成全零,而不是 A、B 都随机?
为了让训练起点 ΔW = B·A = 0。此时模型输出与预训练模型完全一致,微调从“零变化”平滑出发;任何随机初始化都会在第一步就给输出注入噪声,先破坏再修复。这与残差网络把最后一层置零、ControlNet 把零卷积置零是同一个工程哲学。
r=1 时 GPT-3 只训练 4.7M 参数(0.0027%),为什么就足够学好一个任务?
因为论文实证了“适应任务所需的变化量”本身是低秩的:r=8 与 r=64 学到的最重要方向基本重合,说明大部分高秩容量是在拟合噪声。任务调整只需要在少数几个方向上修改权重,4.7M 参数提供的瓶颈维度足以表达这些方向。
03

QLoRA:把冻结基座压到 4-bit

QLoRA = 量化(Quantization)+ LoRA。回答一个问题:能不能把那个“冻结不动的 W₀”用 4 bit 存储,同时微调效果不掉?

3.1量化基础:16 个格子怎么放千军万马

量化就是用更少的比特表示数字。fp16 每个权重占 16 bit,4-bit 占 4 bit——仅权重存储就缩小 4 倍。代价是:4 bit 只有 2⁴ = 16 个可用取值,每个权重必须被“吸附”到最近的代表值上,产生量化误差。全部学问都在于:这 16 个格子放在哪里最聪明?

QLoRA 论文首先给出块状量化的基座做法(对 absmax 归一化后四舍五入):

XInt8 = round( 127 / absmax(X) × X )   // 论文式(1):块大小 64,每块共享一个缩放常数 absmax

为什么要分块(每 64 个权重一组)?因为Transformer 权重里存在少量绝对值特别大的 outlier。如果全模型共用一个缩放常数,一个 outlier 会把其余所有权重压到 0 附近、全部丢失;分块则把 outlier 隔离在它自己的小组里,其他组照常保精度。计算时再用 x̂ = 常数 × 量化值 反量化回浮点。

3.2NF4:按权重分布的“形状”来摆格子

均匀的 INT4 格子在数学上均匀,但权重不均匀——神经网络权重高度集中在 0 附近、近似零均值正态分布(论文附录 F 用 Shapiro-Wilk 检验验证了这一点)。均匀格子意味着大量权重挤进中间两三个格子,而两端的格子几乎空置。NF4(4-bit NormalFloat)的解法是按正态分布的分位数摆放 16 个代表值,让每个格子“承装”等量的权重——论文称之为对正态分布权重“信息论意义上最优”的数据类型。构造公式:

qi = ½ ( Q( i / (2k+1) ) + Q( (i+1) / (2k+1) ) )   // Q 为标准正态的分位函数,k=4 → 16 个值
取两个分位点的均值作为代表值;再做成非对称结构:2³=8 个负值 + 2³+1=9 个正值,其中包含精确的 0(量化后不引入额外零点误差)。下面就是附录 E 给出的全部 16 个 NF4 值——注意 0 附近密集、两端稀疏,正是正态分布的形状。
互动实验 C量化实验室:同一个权重分布,四种存法误差实时计算,非预设数字
量化误差 RMSE
—
相对 BF16 的劣化
—
显存占用(每权重)
—

彩点 = 该数据类型的 16 个代表值(点越大,落进这个格子的权重越多);灰蓝柱 = 从 N(0,1) 采样的权重直方图,青色曲线 = 理论正态分布。可以清楚看到 NF4 的格子“跟着分布形状走”。论文佐证(Pile 困惑度,越低越好):Int4 34.34 / FP4 31.07 / NF4+双重量化 27.41,与 BF16(27.20)几乎持平。

3.3双重量化:给“缩放常数”再打个包

分块量化引入了新开销:每 64 个权重要存一个 32-bit 缩放常数 c₁,平摊下来是 32/64 = 0.5 bit/参数——相当于 4-bit 本体被加了 12.5% 的“包装费”。双重量化(Double Quantization)的思路:包装费本身也能压缩——把每 64 个常数组成一组,存成 8-bit 的 c₁',每组再共享一个 32-bit 二级常数 c₂:

单级:32/64 = 0.5 bit/参数   →   双重:8/64 + 32/(64×256) = 0.127 bit/参数   // 每级块大小 64 · 每二级块 256 个常数
📦 一句话账本
每参数省下 0.5 − 0.127 = 0.373 bit。对 65B 模型约等于 3 GB——论文原话。第二级量化对精度的影响在实验噪声范围内(可忽略)。

3.4分页优化器:治好显存的“瞬时尖峰”

训练时显存占用不是平滑曲线:当某个 batch 的序列特别长,优化器状态会瞬间申请一大块显存,哪怕平均值完全够用,也可能在尖峰处 OOM(显存溢出)。分页优化器(Paged Optimizers)借用 NVIDIA 统一内存(Unified Memory)机制:显存吃紧时,优化器状态自动整页迁移到 CPU 内存,反向传播需要时再迁回——相当于给 GPU 装了操作系统的“虚拟内存换页”。代价只是偶尔的吞吐波动,换来的是不再因尖峰而崩溃。

3.5完整流程:梯度怎么流过 4-bit 的冻结权重?

把三个组件拼起来,QLoRA 的训练循环是(论文式 5):

YBF16 = XBF16 · doubleDequant(c₁, c₂, WNF4) + XBF16 · L₁BF16 · L₂BF16
白话:存储永远是 4-bit NF4(+双重量化常数);每次计算临时解压成 bf16;前向/反向都在 bf16 下进行;梯度只更新 LoRA 的 L₁、L₂,4-bit 权重全程冻结、也不需要回写。这就是“梯度穿过冻结的 4-bit 模型回流到 LoRA 适配器”(论文摘要原话)。
基座权重 W NF4 · 4-bit 存储 ❄ 冻结 + 双重量化常数 读取时反量化 不回写 bf16 计算区 前向 + 反向传播 x LoRA: L₁·L₂ bf16 · 可训练 + Y (bf16) 梯度只流向 L₁、L₂(虚线) 4-bit 基座无梯度、无优化器状态 —— 显存大头直接消失
QLoRA 训练数据流(依据论文式 5 重绘)。三件套分工:NF4 管存储密度,双重量化管常数开销,分页优化器管瞬时尖峰。

论文最重要的四条实证结论(这是 QLoRA 真正的干货):

①4-bit 不掉点

多任务平均 MMLU:NF4+双重量化 53.1 vs BF16 全量 53.0——量化基座不但没伤,还顺带超过了 FP4(52.2)。

②LoRA 必须挂满所有线性层

只挂注意力投影(LoRA 论文原方案)在量化基座上追不上 16-bit 全量微调;把 q/k/v/o + MLP 全部线性层挂上后才追平。这是 QLoRA 相对原始 LoRA 用法的关键修正。

③挂满之后,r 反而不重要

在全部线性层都挂适配器的前提下,改变 r 对效果几乎没有影响(论文反复验证)。所以放心用大一点的 r 换稳定性,参数量依然微不足道。

④数据质量 ≫ 数据数量

用仅 9k 条人工标注的 OASST1 数据训出的 Guanaco,在聊天评测中胜过用 45 万条 FLAN v2 训的模型。挑数据比堆数据重要。

🏆 成绩单(论文摘要与正文)
Guanaco-65B 在 Vicuna 基准达到 ChatGPT 水平的 99.3%,微调只需单卡 24 小时;Guanaco-33B 达 97.8%,一张 24GB 消费级显卡 12 小时内完成;Guanaco-7B 部署约 5GB 显存。同时作者诚实地做了 "lemon-picked" 分析:65B/33B 的 Guanaco 与 ChatGPT 仍有可见差距——QLoRA 是“低成本逼近”,不是“免费午餐”。
🧠 检查理解(§3)
NF4 为什么按正态分布分位数选 16 个代表值,而不是均匀摆放?
权重近似零均值正态分布,绝大多数值挤在 0 附近。均匀格子会让中间格子超载、两端格子闲置;按分位数摆放让每个量化区间承装等量的权重,总误差最小。论文称之为对正态分布权重“信息论意义上最优”,实测也优于 INT4 与 FP4(Pile 困惑度 27.41 vs 34.34 / 31.07)。
双重量化省的 0.373 bit/参数是怎么算出来的?
块大小 64 时,每个权重平摊 32-bit 常数的成本 = 32/64 = 0.5 bit/参数。双重量化把常数本身存成 FP8(每块 64 个权重仍共享一个 8-bit 常数),再对每 256 个常数共享一个 32-bit 二级常数,成本 = 8/64 + 32/(64×256) = 0.127 bit/参数。差值 0.5 − 0.127 = 0.373 bit/参数,65B 模型约省 3GB。
04

全量微调 · LoRA · QLoRA 三方对照

显存数字来自本页显存计算器的估算口径(12 字节/参数 + 激活估计),锚点处已用论文实测值校准。

维度全量微调LoRAQLoRA
可训练参数100%约 0.002% ~ 1%同 LoRA
基座存储精度16-bit16-bit4-bit NF4(冻结)
训练显存 · 7B≈ 86 GB≈ 16 GB≈ 5~6 GB
训练显存 · 65B> 780 GB(论文实测)≈ 140 GB< 48 GB(论文实测,单卡)
任务质量上限最高常规下游任务持平或更好挂满线性层后追平 16-bit 微调
推理延迟基准零(可合并 W₀+BA)略增(读取时反量化开销)
多任务部署每任务一份完整模型每任务一个 MB 级适配器同 LoRA,且共享一份 4-bit 基座
适合场景大幅注入新知识、预算充足多数下游适配任务的默认选择显卡有限 / 模型很大 / 多任务共享
⚖️ 怎么选
有 80GB A100 且要彻底重塑模型能力 → 全量微调;有 16GB+ 显卡、想把任务效果做扎实 → LoRA;只有游戏卡 / 想动 33B+ 的模型 → QLoRA。三者共用同一套 LoRA 超参数语言(r、α、目标层),从 LoRA 迁移到 QLoRA 只需换加载方式。
05

动手实践指南

直接采用 QLoRA 论文附录 B 验证过的超参数起步,然后只微调学习率。

5.1论文级超参数速查

超参数推荐值说明 / 出处
秩 r64QLoRA 论文值;挂满线性层时 r 不敏感,取大求稳
α(lora_alpha)16QLoRA 论文值;LoRA 论文建议设为首次尝试的 r 后不再调
目标层所有线性层QLoRA 关键发现:只挂注意力层追不上 16-bit 效果
lora_dropout0.1(≤13B)/ 0.05(≥33B)QLoRA 论文附录 B.2
学习率2e-4(7B/13B)/ 1e-4(33B/65B)恒定学习率调度(constant),LoRA 类微调常用 1e-4~3e-4
计算精度bf16论文指出 fp16 下约 20% 的 7B 训练无法正常完成,务必用 bf16
优化器paged_adamw_32bit分页优化器,防显存尖峰 OOM
批大小16~128(可用梯度累积凑)QLoRA 论文实验范围

5.2最小可运行代码(HuggingFace PEFT + bitsandbytes)

这正是 QLoRA 官方仓库(artidoro/qlora)与 bitsandbytes 的标准用法:

from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
import torch

# ① 以 4-bit NF4 + 双重量化加载冻结基座(QLoRA 三件套的前两件)
bnb = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",              # NF4,不要用默认 fp4
    bnb_4bit_use_double_quant=True,         # 双重量化,省 0.37 bit/参数
    bnb_4bit_compute_dtype=torch.bfloat16,   # 计算 bf16(fp16 不稳)
)
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf",
                                             quantization_config=bnb)
model = prepare_model_for_kbit_training(model)

# ② 在所有线性层挂 LoRA 适配器(QLoRA 论文的关键发现)
cfg = LoraConfig(
    r=64, lora_alpha=16,
    target_modules=["q_proj","k_proj","v_proj","o_proj",
                    "gate_proj","up_proj","down_proj"],
    lora_dropout=0.05, task_type="CAUSAL_LM",
)
model = get_peft_model(model, cfg)          # 此刻起只有适配器可训练
model.print_trainable_parameters()           # 典型输出:~0.2% 参数可训练

5.3显卡速查(估算口径与本页计算器一致)

模型全量微调LoRA (bf16 基座)QLoRA (4-bit)
7B≈ 86 GB≈ 16 GB≈ 5~6 GB(Guanaco-7B 部署约 5GB)
13B≈ 160 GB≈ 29 GB≈ 10 GB
33B≈ 400 GB≈ 72 GB≈ 24 GB(论文:24GB 消费卡 <12h 完成)
65B> 780 GB≈ 140 GB< 48 GB(论文:单卡 48GB)

5.4常见坑

  • 量化类型忘了选 nf4:bitsandbytes 默认是 fp4,必须显式指定 nf4,这是 QLoRA 效果的关键。
  • 用 fp16 而不是 bf16:论文与官方仓库都报告 fp16 训练容易发散/中断,Hopper 之前的卡请确认支持 bf16(RTX 30 系以上)。
  • 只挂注意力层:在量化基座上这是效果差距的主因,按论文挂满全部线性层。
  • 数据不精:9k 条高质量数据胜过 45 万条杂凑数据(QLoRA 论文),先花时间洗数据。
  • 忘记合并:追求线上零延迟时,用 merge_and_unload() 把适配器并回基座。
  • 估算显存漏掉不量化的层:输出头(lm_head)与词嵌入默认不参与 4-bit 量化(保持 16-bit),7B 模型上约 0.5~0.7GB,是显存估算偏差的常见来源。
06

常见问题

LoRA / QLoRA 微调完的产物是什么?怎么部署?
产物是一个很小的适配器检查点(几 MB 到几百 MB)+ 原始基座模型。部署二选一:①合并:把 BA 并入 W₀ 得到与原结构完全相同的模型,零延迟;②动态加载:基座 + 按需挂载不同任务适配器,适合多任务共享一份基座。QLoRA 训练出的模型推理时可恢复为 16-bit(适配器本来就是 bf16),不一定保持 4-bit。
r 到底选多大?α 呢?
两篇论文的答案一致地“反直觉”:LoRA 论文发现 r=1~8 常常就够;QLoRA 论文发现在挂满所有线性层的前提下 r 几乎不影响效果,其全部实验用 r=64。实践建议:全部线性层 + r=16~64 起步,α 设为与 r 同数量级(论文用 16),然后只调学习率。
QLoRA 推理会变慢吗?
训练后的模型如果恢复 16-bit 推理,速度与 LoRA 相同。若保持 4-bit 推理(省显存),因为每次矩阵乘法前要反量化,会比原生 16-bit 慢一些,但换来的是消费级显卡也能部署大模型(Guanaco-7B 约 5GB 显存即可跑)。
什么任务适合 LoRA/QLoRA,什么必须全量微调?
风格迁移、指令遵循、领域话术、格式控制、分类头适配等“调整行为”的任务,LoRA/QLoRA 已被两篇论文反复验证够用。需要大规模注入新知识(如用海量领域语料续训)或彻底改变模型能力时,全量微调或继续预训练上限更高。QLoRA 作者也坦言 Guanaco 与 ChatGPT 在长对话一致性上仍有差距。
LoRA 和 Adapter、Prefix-tuning 有什么本质区别?
Adapter 在层与层之间串行插入 bottleneck 模块,信息必须流经它,因此增加推理延迟(论文实测最高约 30%);Prefix-tuning 占用上下文长度且有优化稳定性问题。LoRA 的 BA 旁路与主干并行、可合并,推理期完全消失——这是它取代前两者成为主流的核心原因。
Stable Diffusion 里的 LoRA 是同一个东西吗?
是同一个方法(原论文也提供了 GPT-2 的实现开源),只是挂载对象换成了扩散模型的 UNet / 注意力层。训练出的也是小体积适配器,可以多个叠加混合风格——这正是社区“LoRA 模型卡”繁荣的原因。
NF4 那张 16 值的表是怎么来的?我能自己算吗?
可以:对标准正态分布 N(0,1) 的分位函数 Q(p),在 p = i/17(i=1…16)处取相邻分位点均值并做非对称调整(8 负 9 正、含精确 0),得到 3.2 节展示的 16 个值。它们不是拍脑袋的常数,而是“让权重落入每个区间的概率相等”的数学解。
显存还是不够,先砍什么?
按性价比排序:① 确认用了 NF4 + 双重量化 + bf16;② 开梯度检查点(gradient checkpointing,用约 30% 速度换大量激活显存);③ 减小 batch size、用梯度累积补;④ 确认用了分页优化器 paged_adamw_32bit;⑤ 最后才考虑减小 r(通常影响最小)。
为什么不直接微调 4-bit 权重,非要挂一个 LoRA?
三个原因:① 4-bit 权重只有 16 个离散格子,“往左/往右挪一点”的梯度在离散表示上没有意义,优化需要高精度的可训练张量;② 若为 65B 全量参数保留 Adam 的两份状态,省下的显存立刻被吃回去——QLoRA 的收益完全建立在“可训练部分足够小”上;③ LoRA 参数只占千分之几,它的梯度和优化器状态几乎不占显存。所以“4-bit 负责存储、bf16 适配器负责学习”是分工,不是妥协。
LoRA / QLoRA 微调会让模型“忘记”原有能力吗?
比全量微调轻得多:改动被限制在低秩子空间,且从 ΔW=0 平滑出发,通常不会灾难性覆盖通用能力。但用单一领域数据持续训练,其他任务的表现仍会退化(灾难性遗忘在一切微调中都存在)。实践建议:训练数据中混入少量通用指令数据;多任务场景不要合并适配器、按需挂载,任务之间天然隔离。
07

一手参考资料

本页全部关键数字、公式与结论均可溯源到以下第一手资料。

  • LoRA 原始论文:Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., Chen, W. LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685, ICLR 2022. arxiv.org/abs/2106.09685
  • LoRA 官方代码库:microsoft/LoRA(loralib,含 GPT-2 / RoBERTa / DeBERTa 实现)。github.com/microsoft/LoRA
  • QLoRA 原始论文:Dettmers, T., Pagnoni, A., Holtzman, A., Zettlemoyer, L. QLoRA: Efficient Finetuning of Quantized LLMs. arXiv:2305.14314, NeurIPS 2023. arxiv.org/abs/2305.14314
  • QLoRA 官方代码库:artidoro/qlora(Guanaco 训练脚本与配置)。github.com/artidoro/qlora
  • bitsandbytes:Dettmers, T. 等,NF4/双重量化/分页优化器的 CUDA 内核实现。github.com/TimDettmers/bitsandbytes
  • HuggingFace PEFT 文档:LoRA/QLoRA 的工业化实现与训练 API。huggingface.co/docs/peft