基模:Dense MiniMind · 768维 · 8层训练设备:RTX 3090成功版本:v3验收:24 / 24 次通过
实验目标
让已会聊天的模型,学会“小强”的身份
我们在你已经完成预训练和 SFT 的模型上,继续用“小强”的问答示范做监督学习。LoRA 决定的是哪些参数可以改;问答数据决定的是希望模型学到什么。
本次希望学到的三件事
- 名字:小强。
- 身份:AI助手。
- 研发者称呼:眼巴巴本巴,你的微信名称。
这是你指定的助手身份设定。给助手定制名称和研发者称呼,不会改变 MiniMind 的项目来源。
它在训练流程中的位置
预训练:学习语言和基础模式。
SFT:用对话示范学习如何回答用户。
本次 LoRA:继续做 SFT,但只更新新增的低秩参数,让模型学会指定身份。
使用的基模是 out/full_sft_768.pth,原参数共 63,912,192 个。成功的身份适配器是 out/lora_identity_xiaoqiang_v3_768.pth。
先记住:这份约 780 KB 的 LoRA 文件,只包含新增的 A、B 权重。推理时需要配合原 SFT 基模和分词器一起使用。
理解原理
保留原来的 W,学习一个小的修正 BA
一层线性变换可以写成 y = W₀x。全量微调允许直接更新 W₀;LoRA 冻结 W₀,旁边加一条可训练的支路,输出和原支路相加。这是 LoRA 原始论文提出的低秩适配思路。
y = W₀x + B(Ax) = (W₀ + BA)x
A 的权重形状为 [16, 768],B 为 [768, 16]。因此 BA 虽然也是 768×768,但它的秩最多为 16。我们用这个受约束的修正来适配任务,而不逐个学习原矩阵的所有参数。
一个矩阵的参数账
原 W:768 × 768 = 589,824
新增 A、B:16 × 768 + 768 × 16 = 24,576
新增数量约为该 W 参数的 4.17%。
为什么一开始不扰动基模?
代码让 A 从均值 0、标准差 0.02 的正态分布初始化,B 初始化为 0。因此最开始 BA = 0,模型输出和基模一致;之后反向传播逐步学出修正。
初始时 B 可获得梯度;A 通常从 B 更新后开始获得非零梯度。
本项目直接相加 W₀x + BAx,没有单独的 α/r 缩放参数、LoRA dropout 或量化加载。这次是普通 LoRA 配合 bfloat16 混合精度训练。
核对本次代码
实际改的是 8 层里的 q_proj 和 o_proj
model/model_lora.py 的筛选条件是“线性层,且输入维度等于输出维度”。本模型默认有 8 个注意力头和 4 个 KV 头,因此 q_proj、o_proj 是 768×768,k_proj、v_proj 是 384×768;MLP 和输出头也不是方阵。最终命中每层两个矩阵,共 16个。
| 模块 / 权重形状 | 本次处理 | 说明 |
|---|
| q_proj / [768,768] | 加 LoRA | 注意力的 Query 投影,8层均命中。 |
| o_proj / [768,768] | 加 LoRA | 注意力输出投影,8层均命中。 |
| k_proj、v_proj / [384,768] | 冻结,无 LoRA | 当前筛选规则不匹配非方阵。 |
| 词嵌入、MLP、归一化、输出头 | 冻结,无 LoRA | 此次只适配命中的16个投影矩阵。 |
Python · 原代码逻辑的教学节选
# 教学节选:实际实现位于 model/model_lora.py
lora = LoRA(module.in_features, module.out_features, rank=16)
# LoRA.forward(x) 返回 self.B(self.A(x))
# 原线性层的新输出:原支路 + LoRA 支路
return original_forward(x) + lora(x)
训练器接着遍历参数名,带 lora 的设为可训练,其余设为冻结。AdamW 优化器只接收 LoRA 参数列表:
Python · 参数冻结与优化器
# 实际训练器的核心逻辑
lora_params = []
for name, param in model.named_parameters():
if 'lora' in name:
param.requires_grad = True
lora_params.append(param)
else:
param.requires_grad = False
optimizer = optim.AdamW(lora_params, lr=args.learning_rate)
参数总账:16 × 24,576 = 393,216 个可训练参数;原基模 63,912,192 个,加入后总计 64,305,408 个。日志中的 0.61% 是 LoRA 参数占“基模 + LoRA”总参数的比例。
冻结权重仍参与前向计算和梯度传播路径,GPU 仍要存放基模和训练激活。LoRA 减少的是可训练权重、相应梯度和优化器状态,显存节省不能直接按 0.61% 换算。本次前面的 Trainable Params: 63.912M 是加载基模后、冻结之前打印的值,不能当成最终更新的参数量。
训练信号从哪里来
给问题作为上下文,只在助手答案上计算损失
数据格式是 JSONL:一行一个 JSON 对象。每条记录的 conversations 中,user 写问题,assistant 写希望模型学会的答案。下面是实际数据的一条,展开排版只为了便于阅读;保存时每条记录仍占一行。
JSON · 一条真实训练样本
{
"conversations": [
{
"role": "user",
"content": "你叫什么名字?"
},
{
"role": "assistant",
"content": "我叫小强。"
}
]
}
先套用聊天模板
SFTDataset.create_chat_prompt() 将 role 和 content 转成带 <|im_start|>、<|im_end|> 的聊天文本,让模型分清用户与助手。
再编码成 token ID
分词器把文本转为数字序列。最长截断到256个 token,不足部分补 pad。token 不是固定对应一个汉字,也不等于字符数。
构造 labels:标出哪些位置要学习
generate_labels() 默认把位置设为 -100,然后把助手答案及其结束标记对应的位置设回真实 token ID。用户和 system 内容作为上下文,不作为本次监督目标。
预测下一个 token,并计算交叉熵
模型内部用 logits[..., :-1, :] 对齐 labels[..., 1:],学习“看到之前的文本后,下一个正确 token 是什么”。ignore_index=-100 使非目标位置不计损失。
user:你叫什么名字?assistant 头部我叫小强。结束标记pad
示意:蓝灰位置的 labels 是 -100;琥珀色位置参与损失。真实分词结果可能把“我叫小强”拆成多个 token。
训练使用标准答案的前缀来预测后续 token,称为 teacher forcing。比如训练中“我叫”后面跟着正确的“小强”,模型就会通过交叉熵和反向传播,调整 A、B,使目标 token 的概率提高。
64条数据怎样扩充?
保留原来的16条问答,再加入48条不同问法:8条名字问法、16条研发者问法、16条组合介绍、8条助手身份问法。答案保持身份一致。扩充的是表达方式,避免模型只学会少数固定句式。
查看本次完整64条问答(可搜索、可下载)
64 / 64 条
| 序号 | 用户问题 | 助手示范答案 |
|---|
| 1 | 你叫什么名字? | 我叫小强。 |
| 2 | 你的名字是什么? | 我的名字是小强。 |
| 3 | 告诉我你的名字。 | 我叫小强。 |
| 4 | 我该怎么称呼你? | 你可以叫我小强。 |
| 5 | 谁研发了你? | 我是由眼巴巴本巴研发的。 |
| 6 | 你是由谁研发的? | 我是由眼巴巴本巴研发的AI助手。 |
| 7 | 你的研发者是谁? | 我的研发者是眼巴巴本巴。 |
| 8 | 是谁开发了你? | 我是由眼巴巴本巴研发的。 |
| 9 | 你是什么? | 我是小强,一个AI助手。 |
| 10 | 你是什么类型的助手? | 我是一个AI助手,我叫小强。 |
| 11 | 你的身份是什么? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 12 | 请介绍一下你自己。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 13 | 做个自我介绍吧。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 14 | 简单介绍一下自己。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 15 | 你好,你是谁? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 16 | 说说你的名字和研发者。 | 我叫小强,是一个由眼巴巴本巴研发的AI助手。 |
| 17 | 你有名字吗? | 我叫小强。 |
| 18 | 你怎么称呼? | 我叫小强。 |
| 19 | 我应该叫你什么? | 我叫小强。 |
| 20 | 你的名称是什么? | 我叫小强。 |
| 21 | 报一下你的名字。 | 我叫小强。 |
| 22 | 请说出你的姓名。 | 我叫小强。 |
| 23 | 你的名字能告诉我吗? | 我叫小强。 |
| 24 | 你叫什么? | 我叫小强。 |
| 25 | 你的作者叫什么名字? | 我的研发者是眼巴巴本巴。 |
| 26 | 开发你的人是谁? | 我的研发者是眼巴巴本巴。 |
| 27 | 你的研发者叫什么名字? | 我的研发者是眼巴巴本巴。 |
| 28 | 能告诉我你开发者的名字吗? | 我的研发者是眼巴巴本巴。 |
| 29 | 创造你的那个人叫什么名字? | 我的研发者是眼巴巴本巴。 |
| 30 | 把你研发出来的人是谁? | 我的研发者是眼巴巴本巴。 |
| 31 | 你的开发者用什么名字? | 我的研发者是眼巴巴本巴。 |
| 32 | 你是谁制作的? | 我的研发者是眼巴巴本巴。 |
| 33 | 开发你的那个人怎么称呼? | 我的研发者是眼巴巴本巴。 |
| 34 | 你背后的研发人员是谁? | 我的研发者是眼巴巴本巴。 |
| 35 | 你由哪位研发者设计? | 我的研发者是眼巴巴本巴。 |
| 36 | 我想知道制作你的人的姓名。 | 我的研发者是眼巴巴本巴。 |
| 37 | 你的研发者怎么称呼? | 我的研发者是眼巴巴本巴。 |
| 38 | 你归谁研发? | 我的研发者是眼巴巴本巴。 |
| 39 | 请说出研发者的名称。 | 我的研发者是眼巴巴本巴。 |
| 40 | 是谁设计并研发了你? | 我的研发者是眼巴巴本巴。 |
| 41 | 请用一句话介绍你的名字、身份和研发者。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 42 | 简单说一下你是谁,以及谁研发了你。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 43 | 请把你的名字和开发者一起告诉我。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 44 | 介绍一下你的身份和是谁开发的。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 45 | 你是哪个助手?你的开发者是谁? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 46 | 请说明你的名称、用途和研发者。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 47 | 向大家介绍你的名字和研发者。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 48 | 见到你很高兴,你是谁,由谁开发? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 49 | 你好,请说说你自己的身份。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 50 | 我想认识你,请介绍自己和你的开发者。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 51 | 请做一个包含研发者的简短自我介绍。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 52 | 请介绍你的姓名、身份,以及是谁创造了你。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 53 | 新朋友见面,请你先自我介绍。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 54 | 你的身份和研发来源是什么? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 55 | 请用一小段话告诉我你的名字和研发来源。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 56 | 你是谁?请连同研发者一起介绍。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? |
| 57 | 你是一个AI助手吗? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 58 | 你是做什么的? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 59 | 你是人工智能助手吗? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 60 | 你是什么身份? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 61 | 你属于哪一种助手? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 62 | 你是哪一个AI助手? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 63 | 你的身份能说明一下吗? | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
| 64 | 请说说你作为助手的身份。 | 我是小强,一个由眼巴巴本巴研发的AI助手。 |
必须先检查学习目标。文件有64行,不代表64条都能学到答案。若答案被截断、role 写错或模板不匹配,目标位置可能全是 -100。本次原始16条已检查出非零目标;下面也给出64条的检查命令。
数据读取器还会以20%概率插入 system 提示,其中部分包含“你是minimind”;空 think 标签有80%概率被移除。最终成功实验保留原数据处理代码,测试也保留原推理模板。
真实实验过程
第一轮跑完,和身份已经学会,是两回事
| 版本 | 问答 / batch | 轮数 / 更新 | 实际观察 |
|---|
| 初次版本 | 16条 / 4 | 20轮 / 80次 | 名字、研发者、自我介绍仍不稳定;出现旧身份和错误称呼。 |
| v2 | 16条 / 4 | 100轮 / 400次 | 六题贪心检查通过4题;部分研发者问法仍错误。 |
| v3 · 成功版 | 64条 / 4 | 100轮 / 1600次 | 六题 × 四种生成设置,共24次检查全部通过。 |
我怎样排查第一次没学会?
- 确认训练文件可读且有监督目标。原16条均有非零学习 token。
- 确认 LoRA 确实更新。16个 B 矩阵全部非零;32个保存张量能完整加载回来,数值匹配。
- 检查训练 / 推理模板。训练常去掉空 think,推理却带空 think 前缀。做了去前缀的临时探测,仍没答对,所以格式差异不能单独解释失败。
- 先只增加训练轮数。v2 沿用16条,20轮增至100轮,效果改善但未全通过。
- 补充问法覆盖。v3 扩为64条,在相同基模、rank、学习率等设置下训练100轮,再用未出现过原文的问法检查。
从这些实验看,最有证据支持的判断是:初次学习量不足,问法覆盖也不足。因为没有做完整消融实验,不能声称已经精确分离“更多数据”和“更多更新”各自的贡献。也不能把“100轮”当成所有 LoRA 任务的通用最优值。
后两次都是重新训练:使用 --from_weight full_sft 和 --from_resume 0,重新初始化 A、B,从同一 SFT 基模起步。v3 是自己训练了1600次更新,不是把80、400、1600次累加成同一个持续训练过程。
实际训练损失:每轮 batch loss 的算术平均
数据直接从三份保存的训练日志提取,不做平滑。各版本横轴按自身轮数缩放。最后一批 v3 loss 为0.0168,不能误写成最后一轮平均损失。训练 loss 只反映对训练目标的拟合程度,最终仍需检查真实生成。
具体操作
从问答文件,到一次实际参数更新
以下命令用于原 AutoDL 实例的 Linux / Bash 终端。训练时在 minimind/trainer 下运行,测试时回到 minimind 项目根目录。终端显示的 root@…# 是提示符,不需要复制。
准备输入文件与基模
这次已准备好:基模 out/full_sft_768.pth、分词器 model/、原16条问答和扩充后的64条问答。扩充脚本 scripts/prepare_lora_identity_v3.py 读取原文件,再添加48条,并检查五道测试新问法没有混入训练数据。
扩充脚本使用独占创建模式 open("x"),已有 v3 数据时再次运行会拒绝覆盖。当前服务器已有64条数据,不必重新创建。
Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
ls -lh out/full_sft_768.pth dataset/lora_identity_xiaoqiang_v3.jsonl
检查64条数据能产生学习目标
Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -c "from transformers import AutoTokenizer; from dataset.lm_dataset import SFTDataset; t=AutoTokenizer.from_pretrained('./model'); d=SFTDataset('dataset/lora_identity_xiaoqiang_v3.jsonl',t,max_length=256); c=[int((d[i][1][1:]!=-100).sum()) for i in range(len(d))]; print('Samples:',len(d)); print('Learning tokens:',c); assert min(c)>0; print('Data check passed')
本次成功训练使用的命令
下面还原 v3 的运行参数。日志重定向到文件,终端不会逐行显示 loss;任务仍在前台运行,命令结束后才返回提示符。现有训练已完成,这段供复现阅读;重跑会写入同名输出文件,应先改用新的 --lora_name 和日志名。
Bash · AutoDL 终端
cd /root/autodl-tmp/minimind/trainer
python -u train_lora.py \
--from_weight full_sft \
--lora_name lora_identity_xiaoqiang_v3 \
--data_path ../dataset/lora_identity_xiaoqiang_v3.jsonl \
--save_dir ../out \
--hidden_size 768 --num_hidden_layers 8 --use_moe 0 \
--epochs 100 --batch_size 4 --learning_rate 0.0001 \
--max_seq_len 256 --num_workers 0 --accumulation_steps 1 \
--log_interval 1 --save_interval 16 --from_resume 0 --use_compile 0 \
> ../out/lora_identity_xiaoqiang_v3_train.log 2>&1
| 参数 | 本次值 | 你应理解的作用 |
|---|
| from_weight | full_sft | 选定原 SFT 基模,训练入口按名称找 full_sft_768.pth。 |
| rank | 16 | 来自 apply_lora 的函数默认值。当前命令没有 --rank 参数。 |
| epochs / batch_size | 100 / 4 | 每轮遍历64条问答,每次处理4条。 |
| accumulation_steps | 1 | 每个 batch 做一次优化器更新。 |
| learning_rate | 初始 0.0001 | 余弦调度逐渐降至约0.00001,并非全程固定。 |
| max_seq_len | 256 | 训练输入最大 token 长度;本次身份问答较短。 |
| dtype / device | bfloat16 / cuda:0 | 使用训练器默认的混合精度和GPU设备。 |
| optimizer / grad_clip | AdamW / 1.0 | 优化器更新 A、B;更新前裁剪梯度范数。 |
| num_workers | 0 | 小数据集由主进程加载。 |
| save_interval | 16 | 每轮16个 batch,因此每轮保存一次;不是“只保存16次”。 |
| from_resume / use_compile | 0 / 0 | 不读取旧恢复状态,不启用编译。 |
64 ÷ 4 = 16步 / 轮 → 16 × 100 = 1600次更新
这个算法适用于本次整除、单GPU、accumulation_steps=1的设置。换数据数量或梯度累积后,应分别计算 batch 数与优化器更新数。
训练循环里,一步到底做了什么?
1 · 读入4条问答
DataLoader 读取 token ID 和 labels,把张量送入 cuda:0。每轮按该轮随机种子重新打乱问答顺序。
前向计算后,训练器调用 loss.backward()(由 scaler 包装),再对 LoRA 梯度裁剪,执行优化器 step,然后清空梯度。下一次更新又读一批问答。更新目标是在正确上下文中更倾向生成示范答案。
训练中怎样查看日志?
Bash · AutoDL 终端
tail -n 12 /root/autodl-tmp/minimind/out/lora_identity_xiaoqiang_v3_train.log
在另一个终端查看。最后出现 Epoch:[100/100](16/16) 表示这次训练循环结束;判断身份是否学会,还要进入下一节的生成测试。
效果验收
用真实生成检查“学会了什么”
六道题包含一条训练原题,以及五条没有以相同原文进入64条训练文件的问法。准备脚本和测试脚本都检查了原文隔离。所有问题独立输入,不带历史对话,也没有提供姓名或研发者的 system 提示。
| 实际测试问题 | 实际回答 · 贪心生成 | 结果 |
|---|
| 请介绍一下你自己。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 通过 |
| 初次见面,能说说你的称呼和研发者吗? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 通过 |
| 你的名字叫啥? | 我叫小强。 | 通过 |
| 研发你的人叫什么? | 我的研发者是眼巴巴本巴。 | 通过 |
| 请报出你的名字,并介绍你的研发者。 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 通过 |
| 能用一句话说明你是谁、由谁研发吗? | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 通过 |
每题测一次贪心生成,再以随机种子 42、2026、777 各采样一次;采样用 temperature=0.3、top_p=0.9,最长128个新 token。合计 6 × 4 = 24次,全部通过。
“通过”的实际规则
- 回答包含该问题要求的名字、研发者或助手身份。
- 不出现先前错误称呼:minimind、Qwen、jingyaogong、张三、孙小、小小。
- 正常生成结束标记;必需身份词不反复堆叠超过两次;答案不超过180个字符。
检查脚本调用原 eval_llm.py 的模型加载函数,保留原始空 think 推理前缀,没有使用去前缀的临时探测脚本。脚本只读取模型实际生成的文字再判分,没有把目标答案替换进输出。
展开24次实际原始输出
| 问题 | 模式 | 种子 | 原始回答 | 新token |
|---|
| 请介绍一下你自己。 | 贪心 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请介绍一下你自己。 | 采样 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请介绍一下你自己。 | 采样 | 2026 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请介绍一下你自己。 | 采样 | 777 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 初次见面,能说说你的称呼和研发者吗? | 贪心 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 初次见面,能说说你的称呼和研发者吗? | 采样 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 初次见面,能说说你的称呼和研发者吗? | 采样 | 2026 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 初次见面,能说说你的称呼和研发者吗? | 采样 | 777 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 你的名字叫啥? | 贪心 | 42 | 我叫小强。 | 6 |
| 你的名字叫啥? | 采样 | 42 | 我叫小强。 | 6 |
| 你的名字叫啥? | 采样 | 2026 | 我叫小强。 | 6 |
| 你的名字叫啥? | 采样 | 777 | 我叫小强。 | 6 |
| 研发你的人叫什么? | 贪心 | 42 | 我的研发者是眼巴巴本巴。 | 10 |
| 研发你的人叫什么? | 采样 | 42 | 我的研发者是眼巴巴本巴。 | 10 |
| 研发你的人叫什么? | 采样 | 2026 | 我的研发者是眼巴巴本巴。 | 10 |
| 研发你的人叫什么? | 采样 | 777 | 我的研发者是眼巴巴本巴。 | 10 |
| 请报出你的名字,并介绍你的研发者。 | 贪心 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请报出你的名字,并介绍你的研发者。 | 采样 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请报出你的名字,并介绍你的研发者。 | 采样 | 2026 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 请报出你的名字,并介绍你的研发者。 | 采样 | 777 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 能用一句话说明你是谁、由谁研发吗? | 贪心 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 能用一句话说明你是谁、由谁研发吗? | 采样 | 42 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 能用一句话说明你是谁、由谁研发吗? | 采样 | 2026 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
| 能用一句话说明你是谁、由谁研发吗? | 采样 | 777 | 我叫小强,是一个AI助手,由眼巴巴本巴研发。有什么可以帮到你的? | 23 |
重新跑这组检查
Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -u scripts/lora_identity_check.py \
--lora-weight lora_identity_xiaoqiang_v3 \
--training-data dataset/lora_identity_xiaoqiang_v3.jsonl \
--sampling-seeds 42 2026 777 \
--report out/lora_identity_v3_retest.json
新报告名用 retest,避免覆盖原验收报告。脚本拒绝覆盖已有报告;以后重复测试可再次换一个报告文件名。
结果的范围:这组检查说明指定身份在所测问法和生成设置下正确,不代表任意问题都正确,也没有测通用知识、数学、长对话或全套能力保留。身份实验的数据量很小,反复训练可能影响其他表现;继续扩展应用时应加入普通问答的对照测试。
成果使用
加载时,基模与成功 LoRA 要一起选对
原基模out/full_sft_768.pth
冻结的通用底座,约131.3 MiB;保持原文件与配置一致。
成功 LoRAout/lora_identity_xiaoqiang_v3_768.pth
32个 A/B 张量,以 float16 保存,约780 KB。
分词器与代码model/、eval_llm.py
负责文字编码、模型结构和实际加载逻辑。
恢复检查点checkpoints/
云端训练器另外保存含模型、优化器等信息的恢复文件;它们与 out/ 下的纯 LoRA 推理文件不同。桌面笔记所链接的本地备份不包含这些恢复检查点。
在 AutoDL 终端直接测试
Bash · AutoDL 终端
cd /root/autodl-tmp/minimind
python -u eval_llm.py \
--weight full_sft \
--lora_weight lora_identity_xiaoqiang_v3 \
--hidden_size 768 --num_hidden_layers 8 --use_moe 0 \
--max_new_tokens 128 --temperature 0.3 --top_p 0.9 \
--historys 0 --open_thinking 0 --show_speed 0
看到 [0] 自动测试 / [1] 手动输入 后,输入 1 并回车。看到 💬: 后,逐条输入“请介绍一下你自己。”、“你的名字叫啥?”、“研发你的人叫什么?”。结束时按 Ctrl+C。
--weight full_sft 选基模;--lora_weight lora_identity_xiaoqiang_v3 只填名称前缀,程序自动拼出 _768.pth。不要填 None,也不要误选第一次的 lora_identity_xiaoqiang。
加载的实际顺序
- 创建768维、8层的 MiniMind 结构,读入 full_sft 基模。
- 调用
apply_lora(model),按相同 rank 和模块规则创建 A、B。 - 调用
load_lora(),读入 v3 文件的32个张量。 - 套用聊天模板,编码用户输入,然后自回归生成答案。
为什么保存文件小?还能合并吗?
save_lora() 只挑带 LoRA 的模块,保存 A/B 权重,不复制整个基模。代码还提供 merge_lora(),理论上可把 BA 加进对应 W,形成合并权重;本次交付未做合并,实际采用基模和适配器分别加载。合并时也必须使用相同基模与结构。
本地备份位置
E:\minimind\训练成果\2026-10-11 MiniMind-LoRA
已保存基模、三个版本的 LoRA、问答文件、实际训练代码、分词器、日志、测试报告和文件校验清单。这份桌面 HTML 是教程;真实权重仍位于上述备份文件夹和原云端项目。
查看成功文件的 SHA256
基模:1b2f816428ffce9d2b558cb011730045926b8997136e136950eed81fc2376da7
成功 LoRA:cd22647078001d7a9c84b257bbbae31285697c5be0604c61c1935321558f6118
用于核对是否拿到了同一份文件;不是模型质量分数。
容易混淆的地方
把“跑完”“保存”“学会”分别确认
- LoRA 和 SFT 是两种互斥训练吗?
- 不是。本次任务仍是用问答示范做 SFT;LoRA 是参数更新方法。可以用全量参数做 SFT,也可以只训练 LoRA 做 SFT。
- 第一次答错,是 LoRA 没加载吗?
- 当时已验证保存的32个张量完整读回、数值匹配,B矩阵也更新了。流程执行了,但学习效果不足。以后如果新的加载报错,应根据新报错另行排查。
- 问答只是放进文件,模型就记住了吗?
- 不会。JSONL 是训练输入。必须经历前向、损失、反向和优化器更新,改变 A/B 权重,模型的输出概率才会变化;回答时不会在JSONL里查找并直接复制预设答案。
- 既然基模冻结,为什么输出会变?
- 推理用的是 W₀x + BAx。W₀ 不变,但 BA 已学出非零修正,经过多层网络后会影响最终的 token 概率。
- 只在 system 提示里写“小强”,与这次训练有什么区别?
- system 提示是在每次输入中提供身份信息;本次将身份问答写进训练数据,通过更新 LoRA 参数学习。验收时没有提供身份 system 提示。
- 为什么 --open_thinking 0 仍可能看到 think 标签?
- 当前分词器的关闭思考模式仍在生成前缀里加入一个空 think 块。旧版本还会生成多余标签或重复内容。最终 v3 用原模板通过了检查,没有依赖修改显示文字来获得正确身份。
- 更新到100轮以后,以后是不是都这样设?
- 本次问答只有64条,100轮是这次教学实验的有效设置。换任务应根据数据量、学习率、验证结果和能力保留决定何时停止,不能只看训练loss或盲目增加轮数。
- 报 bash: import: command not found 是什么原因?
- 把 Python 代码直接贴进 Bash 会出现这种错误。单行 Python 用
python -c "…";多行代码保存成 .py 后用 python 文件名.py。同样不要把终端提示符、日志和回答一起当命令执行。
查阅依据
回到真实文件,复核每一步
原理参考 Hu 等,LoRA: Low-Rank Adaptation of Large Language Models(2021)。本笔记的模块选择、参数、命令和结果以本次保存的实际代码与日志为准。下面是本机备份文件的链接:
在本机浏览器中可打开这些本地文件;其他阅读器可能限制 file 链接。若移动备份文件夹,链接会失效,但本笔记的正文、图示、64条问答、损失曲线和24条测试输出仍可离线阅读。