从一次身份微调,理解模型怎样学习

小强的 LoRA 微调笔记

原理、代码、命令与实际结果放在一起。读完后,你应能说清:模型改了哪里,问答怎样参与训练,为什么第一次没学会,以及怎样加载成功版本。

实际测试输入 › 请介绍一下你自己。
我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
这是成功版本的实际生成记录;页面中的教学示意与模型实际运行相互区分。
基模:Dense MiniMind · 768维 · 8层训练设备:RTX 3090成功版本:v3验收:24 / 24 次通过
实验目标

让已会聊天的模型,学会“小强”的身份

我们在你已经完成预训练和 SFT 的模型上,继续用“小强”的问答示范做监督学习。LoRA 决定的是哪些参数可以改;问答数据决定的是希望模型学到什么。

本次希望学到的三件事

  • 名字:小强。
  • 身份:AI助手。
  • 研发者称呼:眼巴巴本巴,你的微信名称。

这是你指定的助手身份设定。给助手定制名称和研发者称呼,不会改变 MiniMind 的项目来源。

它在训练流程中的位置

预训练:学习语言和基础模式。
SFT:用对话示范学习如何回答用户。
本次 LoRA:继续做 SFT,但只更新新增的低秩参数,让模型学会指定身份。

使用的基模是 out/full_sft_768.pth,原参数共 63,912,192 个。成功的身份适配器是 out/lora_identity_xiaoqiang_v3_768.pth。

先记住:这份约 780 KB 的 LoRA 文件,只包含新增的 A、B 权重。推理时需要配合原 SFT 基模和分词器一起使用。
理解原理

保留原来的 W,学习一个小的修正 BA

一层线性变换可以写成 y = W₀x。全量微调允许直接更新 W₀;LoRA 冻结 W₀,旁边加一条可训练的支路,输出和原支路相加。这是 LoRA 原始论文提出的低秩适配思路。

y = W₀x + B(Ax) = (W₀ + BA)x
LoRA 的两条计算支路输入 x 同时经过冻结的768乘768矩阵W和可训练的A、B支路;A把768维映射到16维,B映射回768维,两路结果相加得到输出。输入 x原权重 W₀768 × 768 · 冻结A768 → 16B16 → 768+只训练这条支路输出 y图中的维度来自本次 q_proj / o_proj;不表示全部网络都只有一层。

A 的权重形状为 [16, 768],B 为 [768, 16]。因此 BA 虽然也是 768×768,但它的秩最多为 16。我们用这个受约束的修正来适配任务,而不逐个学习原矩阵的所有参数。

一个矩阵的参数账

原 W:768 × 768 = 589,824
新增 A、B:16 × 768 + 768 × 16 = 24,576
新增数量约为该 W 参数的 4.17%。

为什么一开始不扰动基模?

代码让 A 从均值 0、标准差 0.02 的正态分布初始化,B 初始化为 0。因此最开始 BA = 0,模型输出和基模一致;之后反向传播逐步学出修正。

初始时 B 可获得梯度;A 通常从 B 更新后开始获得非零梯度。

每个矩阵 24,576 个新增参数;16个矩阵共 393,216 个。

rank 越大,支路能表达的修正通常越灵活,参数也越多。这里仅演示计算;本次实际 rank 固定为 16,页面滑块不会重新训练。更大 rank 不保证更好效果。

本项目直接相加 W₀x + BAx,没有单独的 α/r 缩放参数、LoRA dropout 或量化加载。这次是普通 LoRA 配合 bfloat16 混合精度训练。

核对本次代码

实际改的是 8 层里的 q_proj 和 o_proj

model/model_lora.py 的筛选条件是“线性层,且输入维度等于输出维度”。本模型默认有 8 个注意力头和 4 个 KV 头,因此 q_proj、o_proj 是 768×768,k_proj、v_proj 是 384×768;MLP 和输出头也不是方阵。最终命中每层两个矩阵,共 16个。

模块 / 权重形状本次处理说明
q_proj / [768,768]加 LoRA注意力的 Query 投影,8层均命中。
o_proj / [768,768]加 LoRA注意力输出投影,8层均命中。
k_proj、v_proj / [384,768]冻结,无 LoRA当前筛选规则不匹配非方阵。
词嵌入、MLP、归一化、输出头冻结,无 LoRA此次只适配命中的16个投影矩阵。
Python · 原代码逻辑的教学节选
# 教学节选:实际实现位于 model/model_lora.py
lora = LoRA(module.in_features, module.out_features, rank=16)
# LoRA.forward(x) 返回 self.B(self.A(x))
# 原线性层的新输出:原支路 + LoRA 支路
return original_forward(x) + lora(x)

训练器接着遍历参数名,带 lora 的设为可训练,其余设为冻结。AdamW 优化器只接收 LoRA 参数列表:

Python · 参数冻结与优化器
# 实际训练器的核心逻辑
lora_params = []
for name, param in model.named_parameters():
    if 'lora' in name:
        param.requires_grad = True
        lora_params.append(param)
    else:
        param.requires_grad = False
optimizer = optim.AdamW(lora_params, lr=args.learning_rate)
参数总账:16 × 24,576 = 393,216 个可训练参数;原基模 63,912,192 个,加入后总计 64,305,408 个。日志中的 0.61% 是 LoRA 参数占“基模 + LoRA”总参数的比例。

冻结权重仍参与前向计算和梯度传播路径,GPU 仍要存放基模和训练激活。LoRA 减少的是可训练权重、相应梯度和优化器状态,显存节省不能直接按 0.61% 换算。本次前面的 Trainable Params: 63.912M 是加载基模后、冻结之前打印的值,不能当成最终更新的参数量。

训练信号从哪里来

给问题作为上下文,只在助手答案上计算损失

数据格式是 JSONL:一行一个 JSON 对象。每条记录的 conversations 中,user 写问题,assistant 写希望模型学会的答案。下面是实际数据的一条,展开排版只为了便于阅读;保存时每条记录仍占一行。

JSON · 一条真实训练样本
{
  "conversations": [
    {
      "role": "user",
      "content": "你叫什么名字?"
    },
    {
      "role": "assistant",
      "content": "我叫小强。"
    }
  ]
}
  1. 先套用聊天模板

    SFTDataset.create_chat_prompt() 将 role 和 content 转成带 <|im_start|>、<|im_end|> 的聊天文本,让模型分清用户与助手。

  2. 再编码成 token ID

    分词器把文本转为数字序列。最长截断到256个 token,不足部分补 pad。token 不是固定对应一个汉字,也不等于字符数。

  3. 构造 labels:标出哪些位置要学习

    generate_labels() 默认把位置设为 -100,然后把助手答案及其结束标记对应的位置设回真实 token ID。用户和 system 内容作为上下文,不作为本次监督目标。

  4. 预测下一个 token,并计算交叉熵

    模型内部用 logits[..., :-1, :] 对齐 labels[..., 1:],学习“看到之前的文本后,下一个正确 token 是什么”。ignore_index=-100 使非目标位置不计损失。

user:你叫什么名字?assistant 头部我叫小强。结束标记pad

示意:蓝灰位置的 labels 是 -100;琥珀色位置参与损失。真实分词结果可能把“我叫小强”拆成多个 token。

训练使用标准答案的前缀来预测后续 token,称为 teacher forcing。比如训练中“我叫”后面跟着正确的“小强”,模型就会通过交叉熵和反向传播,调整 A、B,使目标 token 的概率提高。

64条数据怎样扩充?

保留原来的16条问答,再加入48条不同问法:8条名字问法、16条研发者问法、16条组合介绍、8条助手身份问法。答案保持身份一致。扩充的是表达方式,避免模型只学会少数固定句式。

查看本次完整64条问答(可搜索、可下载)
64 / 64 条
序号用户问题助手示范答案
1你叫什么名字?我叫小强。
2你的名字是什么?我的名字是小强。
3告诉我你的名字。我叫小强。
4我该怎么称呼你?你可以叫我小强。
5谁研发了你?我是由眼巴巴本巴研发的。
6你是由谁研发的?我是由眼巴巴本巴研发的AI助手。
7你的研发者是谁?我的研发者是眼巴巴本巴。
8是谁开发了你?我是由眼巴巴本巴研发的。
9你是什么?我是小强,一个AI助手。
10你是什么类型的助手?我是一个AI助手,我叫小强。
11你的身份是什么?我是小强,一个由眼巴巴本巴研发的AI助手。
12请介绍一下你自己。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
13做个自我介绍吧。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
14简单介绍一下自己。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
15你好,你是谁?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
16说说你的名字和研发者。我叫小强,是一个由眼巴巴本巴研发的AI助手。
17你有名字吗?我叫小强。
18你怎么称呼?我叫小强。
19我应该叫你什么?我叫小强。
20你的名称是什么?我叫小强。
21报一下你的名字。我叫小强。
22请说出你的姓名。我叫小强。
23你的名字能告诉我吗?我叫小强。
24你叫什么?我叫小强。
25你的作者叫什么名字?我的研发者是眼巴巴本巴。
26开发你的人是谁?我的研发者是眼巴巴本巴。
27你的研发者叫什么名字?我的研发者是眼巴巴本巴。
28能告诉我你开发者的名字吗?我的研发者是眼巴巴本巴。
29创造你的那个人叫什么名字?我的研发者是眼巴巴本巴。
30把你研发出来的人是谁?我的研发者是眼巴巴本巴。
31你的开发者用什么名字?我的研发者是眼巴巴本巴。
32你是谁制作的?我的研发者是眼巴巴本巴。
33开发你的那个人怎么称呼?我的研发者是眼巴巴本巴。
34你背后的研发人员是谁?我的研发者是眼巴巴本巴。
35你由哪位研发者设计?我的研发者是眼巴巴本巴。
36我想知道制作你的人的姓名。我的研发者是眼巴巴本巴。
37你的研发者怎么称呼?我的研发者是眼巴巴本巴。
38你归谁研发?我的研发者是眼巴巴本巴。
39请说出研发者的名称。我的研发者是眼巴巴本巴。
40是谁设计并研发了你?我的研发者是眼巴巴本巴。
41请用一句话介绍你的名字、身份和研发者。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
42简单说一下你是谁,以及谁研发了你。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
43请把你的名字和开发者一起告诉我。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
44介绍一下你的身份和是谁开发的。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
45你是哪个助手?你的开发者是谁?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
46请说明你的名称、用途和研发者。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
47向大家介绍你的名字和研发者。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
48见到你很高兴,你是谁,由谁开发?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
49你好,请说说你自己的身份。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
50我想认识你,请介绍自己和你的开发者。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
51请做一个包含研发者的简短自我介绍。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
52请介绍你的姓名、身份,以及是谁创造了你。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
53新朋友见面,请你先自我介绍。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
54你的身份和研发来源是什么?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
55请用一小段话告诉我你的名字和研发来源。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
56你是谁?请连同研发者一起介绍。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?
57你是一个AI助手吗?我是小强,一个由眼巴巴本巴研发的AI助手。
58你是做什么的?我是小强,一个由眼巴巴本巴研发的AI助手。
59你是人工智能助手吗?我是小强,一个由眼巴巴本巴研发的AI助手。
60你是什么身份?我是小强,一个由眼巴巴本巴研发的AI助手。
61你属于哪一种助手?我是小强,一个由眼巴巴本巴研发的AI助手。
62你是哪一个AI助手?我是小强,一个由眼巴巴本巴研发的AI助手。
63你的身份能说明一下吗?我是小强,一个由眼巴巴本巴研发的AI助手。
64请说说你作为助手的身份。我是小强,一个由眼巴巴本巴研发的AI助手。

必须先检查学习目标。文件有64行,不代表64条都能学到答案。若答案被截断、role 写错或模板不匹配,目标位置可能全是 -100。本次原始16条已检查出非零目标;下面也给出64条的检查命令。

数据读取器还会以20%概率插入 system 提示,其中部分包含“你是minimind”;空 think 标签有80%概率被移除。最终成功实验保留原数据处理代码,测试也保留原推理模板。

真实实验过程

第一轮跑完,和身份已经学会,是两回事

版本问答 / batch轮数 / 更新实际观察
初次版本16条 / 420轮 / 80次名字、研发者、自我介绍仍不稳定;出现旧身份和错误称呼。
v216条 / 4100轮 / 400次六题贪心检查通过4题;部分研发者问法仍错误。
v3 · 成功版64条 / 4100轮 / 1600次六题 × 四种生成设置,共24次检查全部通过。

我怎样排查第一次没学会?

  1. 确认训练文件可读且有监督目标。原16条均有非零学习 token。
  2. 确认 LoRA 确实更新。16个 B 矩阵全部非零;32个保存张量能完整加载回来,数值匹配。
  3. 检查训练 / 推理模板。训练常去掉空 think,推理却带空 think 前缀。做了去前缀的临时探测,仍没答对,所以格式差异不能单独解释失败。
  4. 先只增加训练轮数。v2 沿用16条,20轮增至100轮,效果改善但未全通过。
  5. 补充问法覆盖。v3 扩为64条,在相同基模、rank、学习率等设置下训练100轮,再用未出现过原文的问法检查。

从这些实验看,最有证据支持的判断是:初次学习量不足,问法覆盖也不足。因为没有做完整消融实验,不能声称已经精确分离“更多数据”和“更多更新”各自的贡献。也不能把“100轮”当成所有 LoRA 任务的通用最优值。

后两次都是重新训练:使用 --from_weight full_sft 和 --from_resume 0,重新初始化 A、B,从同一 SFT 基模起步。v3 是自己训练了1600次更新,不是把80、400、1600次累加成同一个持续训练过程。

实际训练损失:每轮 batch loss 的算术平均

数据直接从三份保存的训练日志提取,不做平滑。各版本横轴按自身轮数缩放。最后一批 v3 loss 为0.0168,不能误写成最后一轮平均损失。训练 loss 只反映对训练目标的拟合程度,最终仍需检查真实生成。

具体操作

从问答文件,到一次实际参数更新

以下命令用于原 AutoDL 实例的 Linux / Bash 终端。训练时在 minimind/trainer 下运行,测试时回到 minimind 项目根目录。终端显示的 root@…# 是提示符,不需要复制。

准备输入文件与基模

这次已准备好:基模 out/full_sft_768.pth、分词器 model/、原16条问答和扩充后的64条问答。扩充脚本 scripts/prepare_lora_identity_v3.py 读取原文件,再添加48条,并检查五道测试新问法没有混入训练数据。

扩充脚本使用独占创建模式 open("x"),已有 v3 数据时再次运行会拒绝覆盖。当前服务器已有64条数据,不必重新创建。

Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
ls -lh out/full_sft_768.pth dataset/lora_identity_xiaoqiang_v3.jsonl

检查64条数据能产生学习目标

Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -c "from transformers import AutoTokenizer; from dataset.lm_dataset import SFTDataset; t=AutoTokenizer.from_pretrained('./model'); d=SFTDataset('dataset/lora_identity_xiaoqiang_v3.jsonl',t,max_length=256); c=[int((d[i][1][1:]!=-100).sum()) for i in range(len(d))]; print('Samples:',len(d)); print('Learning tokens:',c); assert min(c)>0; print('Data check passed')

本次成功训练使用的命令

下面还原 v3 的运行参数。日志重定向到文件,终端不会逐行显示 loss;任务仍在前台运行,命令结束后才返回提示符。现有训练已完成,这段供复现阅读;重跑会写入同名输出文件,应先改用新的 --lora_name 和日志名。

Bash · AutoDL 终端
cd /root/autodl-tmp/minimind/trainer
python -u train_lora.py \
  --from_weight full_sft \
  --lora_name lora_identity_xiaoqiang_v3 \
  --data_path ../dataset/lora_identity_xiaoqiang_v3.jsonl \
  --save_dir ../out \
  --hidden_size 768 --num_hidden_layers 8 --use_moe 0 \
  --epochs 100 --batch_size 4 --learning_rate 0.0001 \
  --max_seq_len 256 --num_workers 0 --accumulation_steps 1 \
  --log_interval 1 --save_interval 16 --from_resume 0 --use_compile 0 \
  > ../out/lora_identity_xiaoqiang_v3_train.log 2>&1
参数本次值你应理解的作用
from_weightfull_sft选定原 SFT 基模,训练入口按名称找 full_sft_768.pth。
rank16来自 apply_lora 的函数默认值。当前命令没有 --rank 参数。
epochs / batch_size100 / 4每轮遍历64条问答,每次处理4条。
accumulation_steps1每个 batch 做一次优化器更新。
learning_rate初始 0.0001余弦调度逐渐降至约0.00001,并非全程固定。
max_seq_len256训练输入最大 token 长度;本次身份问答较短。
dtype / devicebfloat16 / cuda:0使用训练器默认的混合精度和GPU设备。
optimizer / grad_clipAdamW / 1.0优化器更新 A、B;更新前裁剪梯度范数。
num_workers0小数据集由主进程加载。
save_interval16每轮16个 batch,因此每轮保存一次;不是“只保存16次”。
from_resume / use_compile0 / 0不读取旧恢复状态,不启用编译。
64 ÷ 4 = 16步 / 轮 → 16 × 100 = 1600次更新

这个算法适用于本次整除、单GPU、accumulation_steps=1的设置。换数据数量或梯度累积后,应分别计算 batch 数与优化器更新数。

训练循环里,一步到底做了什么?

1 · 读入4条问答

DataLoader 读取 token ID 和 labels,把张量送入 cuda:0。每轮按该轮随机种子重新打乱问答顺序。

前向计算后,训练器调用 loss.backward()(由 scaler 包装),再对 LoRA 梯度裁剪,执行优化器 step,然后清空梯度。下一次更新又读一批问答。更新目标是在正确上下文中更倾向生成示范答案。

训练中怎样查看日志?

Bash · AutoDL 终端
tail -n 12 /root/autodl-tmp/minimind/out/lora_identity_xiaoqiang_v3_train.log

在另一个终端查看。最后出现 Epoch:[100/100](16/16) 表示这次训练循环结束;判断身份是否学会,还要进入下一节的生成测试。

效果验收

用真实生成检查“学会了什么”

六道题包含一条训练原题,以及五条没有以相同原文进入64条训练文件的问法。准备脚本和测试脚本都检查了原文隔离。所有问题独立输入,不带历史对话,也没有提供姓名或研发者的 system 提示。

实际测试问题实际回答 · 贪心生成结果
请介绍一下你自己。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?通过
初次见面,能说说你的称呼和研发者吗?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?通过
你的名字叫啥?我叫小强。通过
研发你的人叫什么?我的研发者是眼巴巴本巴。通过
请报出你的名字,并介绍你的研发者。我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?通过
能用一句话说明你是谁、由谁研发吗?我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?通过

每题测一次贪心生成,再以随机种子 42、2026、777 各采样一次;采样用 temperature=0.3、top_p=0.9,最长128个新 token。合计 6 × 4 = 24次,全部通过。

“通过”的实际规则

  • 回答包含该问题要求的名字、研发者或助手身份。
  • 不出现先前错误称呼:minimind、Qwen、jingyaogong、张三、孙小、小小。
  • 正常生成结束标记;必需身份词不反复堆叠超过两次;答案不超过180个字符。

检查脚本调用原 eval_llm.py 的模型加载函数,保留原始空 think 推理前缀,没有使用去前缀的临时探测脚本。脚本只读取模型实际生成的文字再判分,没有把目标答案替换进输出。

展开24次实际原始输出
问题模式种子原始回答新token
请介绍一下你自己。贪心42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请介绍一下你自己。采样42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请介绍一下你自己。采样2026我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请介绍一下你自己。采样777我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
初次见面,能说说你的称呼和研发者吗?贪心42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
初次见面,能说说你的称呼和研发者吗?采样42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
初次见面,能说说你的称呼和研发者吗?采样2026我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
初次见面,能说说你的称呼和研发者吗?采样777我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
你的名字叫啥?贪心42我叫小强。6
你的名字叫啥?采样42我叫小强。6
你的名字叫啥?采样2026我叫小强。6
你的名字叫啥?采样777我叫小强。6
研发你的人叫什么?贪心42我的研发者是眼巴巴本巴。10
研发你的人叫什么?采样42我的研发者是眼巴巴本巴。10
研发你的人叫什么?采样2026我的研发者是眼巴巴本巴。10
研发你的人叫什么?采样777我的研发者是眼巴巴本巴。10
请报出你的名字,并介绍你的研发者。贪心42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请报出你的名字,并介绍你的研发者。采样42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请报出你的名字,并介绍你的研发者。采样2026我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
请报出你的名字,并介绍你的研发者。采样777我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
能用一句话说明你是谁、由谁研发吗?贪心42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
能用一句话说明你是谁、由谁研发吗?采样42我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
能用一句话说明你是谁、由谁研发吗?采样2026我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23
能用一句话说明你是谁、由谁研发吗?采样777我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的?23

重新跑这组检查

Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -u scripts/lora_identity_check.py \
  --lora-weight lora_identity_xiaoqiang_v3 \
  --training-data dataset/lora_identity_xiaoqiang_v3.jsonl \
  --sampling-seeds 42 2026 777 \
  --report out/lora_identity_v3_retest.json

新报告名用 retest,避免覆盖原验收报告。脚本拒绝覆盖已有报告;以后重复测试可再次换一个报告文件名。

结果的范围:这组检查说明指定身份在所测问法和生成设置下正确,不代表任意问题都正确,也没有测通用知识、数学、长对话或全套能力保留。身份实验的数据量很小,反复训练可能影响其他表现;继续扩展应用时应加入普通问答的对照测试。
成果使用

加载时,基模与成功 LoRA 要一起选对

原基模
out/full_sft_768.pth
冻结的通用底座,约131.3 MiB;保持原文件与配置一致。
成功 LoRA
out/lora_identity_xiaoqiang_v3_768.pth
32个 A/B 张量,以 float16 保存,约780 KB。
分词器与代码
model/、eval_llm.py
负责文字编码、模型结构和实际加载逻辑。
恢复检查点
checkpoints/
云端训练器另外保存含模型、优化器等信息的恢复文件;它们与 out/ 下的纯 LoRA 推理文件不同。桌面笔记所链接的本地备份不包含这些恢复检查点。

在 AutoDL 终端直接测试

Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -u eval_llm.py \
  --weight full_sft \
  --lora_weight lora_identity_xiaoqiang_v3 \
  --hidden_size 768 --num_hidden_layers 8 --use_moe 0 \
  --max_new_tokens 128 --temperature 0.3 --top_p 0.9 \
  --historys 0 --open_thinking 0 --show_speed 0

看到 [0] 自动测试 / [1] 手动输入 后,输入 1 并回车。看到 💬: 后,逐条输入“请介绍一下你自己。”、“你的名字叫啥?”、“研发你的人叫什么?”。结束时按 Ctrl+C。

--weight full_sft 选基模;--lora_weight lora_identity_xiaoqiang_v3 只填名称前缀,程序自动拼出 _768.pth。不要填 None,也不要误选第一次的 lora_identity_xiaoqiang。

加载的实际顺序

  1. 创建768维、8层的 MiniMind 结构,读入 full_sft 基模。
  2. 调用 apply_lora(model),按相同 rank 和模块规则创建 A、B。
  3. 调用 load_lora(),读入 v3 文件的32个张量。
  4. 套用聊天模板,编码用户输入,然后自回归生成答案。

为什么保存文件小?还能合并吗?

save_lora() 只挑带 LoRA 的模块,保存 A/B 权重,不复制整个基模。代码还提供 merge_lora(),理论上可把 BA 加进对应 W,形成合并权重;本次交付未做合并,实际采用基模和适配器分别加载。合并时也必须使用相同基模与结构。

本地备份位置
E:\minimind\训练成果\2026-10-11 MiniMind-LoRA

已保存基模、三个版本的 LoRA、问答文件、实际训练代码、分词器、日志、测试报告和文件校验清单。这份桌面 HTML 是教程;真实权重仍位于上述备份文件夹和原云端项目。

查看成功文件的 SHA256

基模:1b2f816428ffce9d2b558cb011730045926b8997136e136950eed81fc2376da7

成功 LoRA:cd22647078001d7a9c84b257bbbae31285697c5be0604c61c1935321558f6118

用于核对是否拿到了同一份文件;不是模型质量分数。

容易混淆的地方

把“跑完”“保存”“学会”分别确认

LoRA 和 SFT 是两种互斥训练吗?
不是。本次任务仍是用问答示范做 SFT;LoRA 是参数更新方法。可以用全量参数做 SFT,也可以只训练 LoRA 做 SFT。
第一次答错,是 LoRA 没加载吗?
当时已验证保存的32个张量完整读回、数值匹配,B矩阵也更新了。流程执行了,但学习效果不足。以后如果新的加载报错,应根据新报错另行排查。
问答只是放进文件,模型就记住了吗?
不会。JSONL 是训练输入。必须经历前向、损失、反向和优化器更新,改变 A/B 权重,模型的输出概率才会变化;回答时不会在JSONL里查找并直接复制预设答案。
既然基模冻结,为什么输出会变?
推理用的是 W₀x + BAx。W₀ 不变,但 BA 已学出非零修正,经过多层网络后会影响最终的 token 概率。
只在 system 提示里写“小强”,与这次训练有什么区别?
system 提示是在每次输入中提供身份信息;本次将身份问答写进训练数据,通过更新 LoRA 参数学习。验收时没有提供身份 system 提示。
为什么 --open_thinking 0 仍可能看到 think 标签?
当前分词器的关闭思考模式仍在生成前缀里加入一个空 think 块。旧版本还会生成多余标签或重复内容。最终 v3 用原模板通过了检查,没有依赖修改显示文字来获得正确身份。
更新到100轮以后,以后是不是都这样设?
本次问答只有64条,100轮是这次教学实验的有效设置。换任务应根据数据量、学习率、验证结果和能力保留决定何时停止,不能只看训练loss或盲目增加轮数。
报 bash: import: command not found 是什么原因?
把 Python 代码直接贴进 Bash 会出现这种错误。单行 Python 用 python -c "…";多行代码保存成 .py 后用 python 文件名.py。同样不要把终端提示符、日志和回答一起当命令执行。
查阅依据

回到真实文件,复核每一步

原理参考 Hu 等,LoRA: Low-Rank Adaptation of Large Language Models(2021)。本笔记的模块选择、参数、命令和结果以本次保存的实际代码与日志为准。下面是本机备份文件的链接:

在本机浏览器中可打开这些本地文件;其他阅读器可能限制 file 链接。若移动备份文件夹,链接会失效,但本笔记的正文、图示、64条问答、损失曲线和24条测试输出仍可离线阅读。