我的第一份训练笔记

第一次,
把一个模型
从零训出来。

从“3090 都被租完了”,
到“可以,现在能回答了”。
把一路上的问题、截图和踩坑,认真记下来。

3090→数据→预训练→SFT→开口说话

一个夜晚,走完一条真实的训练链路。
成功的地方记下来,答错的地方也不藏。

6400 万参数亲手训过一次
这是一份回顾笔记,不是实时监控。内容根据本次对话、你发来的截图、原始训练日志和最终验收记录整理;时间取近似值,费用按时长估算。图片可点击放大,左侧目录可以展开或收起。
10 月 6 日 · 从 E:\minimind 出发

01一个想法:我也想自己训模型

“先了解一下项目,我打算自己训一个模型,待会不懂的问你。”

这次的起点是 MiniMind 项目。目标很具体:从随机初始化的参数开始,亲手跑过预训练和 SFT,最后和自己的模型说上话。

最初想到的是已有的腾讯云服务器,后来决定在 AutoDL 租一台带 GPU 的服务器。最终训练发生在云端,本地电脑负责浏览器操作、远程连接和查看进度。

我的第一个收获:
GPU ≠ 整台服务器。
显存 ≠ 保存模型的硬盘。
15:00 前后 · 硬件与预算

02挑 GPU:3090 没了,就换一个区

最初的阻碍:西北 B 区的 RTX 3090 已租完。点一下,放大看
换到内蒙古 B 区,找到了有空闲的 24GB 3090。点一下,放大看

最后租到:内蒙古 B 区 · 420 机 · 单卡 RTX 3090 / 24GB。

这一台有什么实际记录这次用来做什么
GPURTX 3090,24GB 显存预训练、SFT、最终生成测试
CPU / 内存终端报告 14 核 / 90GB准备数据、运行监控、CPU 测试
硬盘系统盘 30GB,数据盘 50GB代码、数据、日志、权重
计费按量计费 ¥1.56 / 小时按实例运行时间计算费用

页面创建时曾显示 60GB 内存,开机终端报告 90GB;这里保留实际运行记录。选卡过程的截图里还有其他机器,最终实例以 420 机为准。

算一笔小账

预训练 3 小时 49 分 + SFT 5 小时 38 分 = 9 小时 27 分
9.45 × ¥1.56 ≈ ¥14.74

这是两段训练的算力费用估算,不是实际账单。装环境、下载、测试和空闲开机时间都另占运行时间。

15:08—15:26 左右 · 先确认 GPU 能用

03装环境:这些工具各自干什么

创建实例时选择的基础镜像:PyTorch 2.8.0 / Python 3.12 / CUDA 12.8。点一下,放大看
服务器检查:3090 已识别,PyTorch 的 CUDA 可用,数据盘剩余 50GB。点一下,放大看

实际检查结果:Python 3.12.3、PyTorch 2.8.0+cu128,CUDA 可用 = True,GPU 名称为 NVIDIA GeForce RTX 3090。项目模型代码和分词器都能加载。

Python
运行训练和推理脚本的编程语言。
PyTorch
搭建神经网络、做张量运算、自动求梯度,再通过优化器更新参数。
CUDA
让 PyTorch 能使用 NVIDIA GPU 加速计算的一套基础工具。
Transformers / Tokenizer
提供模型和生成接口;分词器把文字变成词元编号,也把生成的编号还原成文字。
Datasets / ModelScope
前者负责读入、组织数据;后者这次用于下载训练数据。
Streamlit / 图表工具
把训练日志与硬件采样数据变成网页和曲线。
驱动显示 CUDA 13.0,
PyTorch 显示 cu128。
这里可以一起正常工作;
前者显示驱动支持的能力。
15:28—15:32 · 下载 → 512 条试跑

04数据到齐,先跑一个小样

15:28 左右,两份 mini 数据下载完成,保存在服务器数据盘。点一下,放大看
数据文件条数文件约多大用途
pretrain_t2t_mini.jsonl1,270,2381.2GB学习文本的续写与语言规律
sft_t2t_mini.jsonl905,7181.7GB学习问题、指令与回答的关系

两份都是项目的 mini 数据,适合先把训练流程走通。它们来自 ModelScope 的 gongjy/minimind_dataset,保存在服务器的 /root/autodl-tmp/minimind/dataset/。

没有一上来就把整份数据喂进去:先从预训练文件取前 512 条,用批大小 16 跑一轮,一共 32 个批次。模型代码、数据读取、GPU、反向传播和权重保存都能工作,再开始正式训练。

512 条样本的小规模试跑:32 个批次跑完,终端回到命令提示符。点一下,放大看

试跑最后一批 Loss 为 8.0724,生成了 smoke_pretrain_768.pth。这个阶段的目的是检查训练链路;只有 512 条样本,不能据此期待模型会聊天。

先用小样确认能跑,
再把时间和预算交给全量任务。
把当时问过的概念放在一起

05模型里,到底发生了什么

文字
“今天天气”
→
分词器
词元编号
→
Transformer
× 8 层
→
下个词元
预测与概率

每批数据经历的训练循环:前向计算 → 训练损失(Loss)→ 反向传播 → 优化器更新。参数是学出来的数字,Transformer 则是这些数字所在的网络结构。

这次模型的“身份证”

63,912,192 个参数 ≈ 6400 万
8 层 Transformer · 隐藏维度 768 · 词表 6400
8 个查询注意力头 / 4 个键值头 · Dense 结构

SiLU(x) = x · sigmoid(x)

SiLU 对输入进行平滑的非线性变换;SwiGLU 再让一条分支控制另一条分支的信息通过量。只做线性变换不够,非线性让多层网络能表达更复杂的关系。

三个数量分清,日志就能读懂

06轮次、批次,还有参数更新

一整个训练集
16 条16 条16 条……最后一批
⌞ 完整走过一次,就是 1 个 Epoch ⌟
阶段轮次每轮批次梯度累积
预训练179,3908 批累积后更新一次
SFT256,608每批更新一次

预训练的批大小 16、梯度累积 8,所以一般相当于每积累 128 条样本的梯度再更新参数。SFT 的累积为 1,通常每 16 条更新一次。批次数不一定等于参数更新次数。

日志的 Epoch:[1/2](4800/56608) 表示:总共计划两轮,现在是第一轮,已经处理到这一轮的第 4,800 批。

SFT 总批次:
56,608 × 2 = 113,216。
进入第二轮后,
轮内批次从头计数。
10 月 6 日 · 约 15:33 → 19:22

07第一段:预训练真的跑起来了

从随机参数开始,用预训练文本学习预测下一个词元。正式任务只跑 1 轮:批大小 16、序列长度上限 768、梯度累积 8、bfloat16、4 个数据加载进程。

正式预训练用 nohup 放到后台,训练输出写入 pretrain_run1.log。点一下,放大看
翻开当时的正式启动命令
cd /root/autodl-tmp/minimind/trainer
nohup python -u train_pretrain.py   --data_path ../dataset/pretrain_t2t_mini.jsonl   --epochs 1 --batch_size 16 --max_seq_len 768   --accumulation_steps 8 --num_workers 4   --device cuda:0 --dtype bfloat16 --from_weight none   --save_weight pretrain --save_dir ../out   --log_interval 100 --save_interval 1000   > ../pretrain_run1.log 2>&1 &

这里记录的是已经完成的任务,不需要为了看笔记再次运行。

训练正在进行:GPU 利用率 100%,显存约 7.5GiB,Loss 正在下降。点一下,放大看

预训练:从读不通,到能预测下一个词元

预训练:从读不通,到能预测下一个词元012345678019,84839,69559,54279,390累计批次(Batch)Loss

按训练日志绘制 · 794 个记录点 · 末批 Loss 1.7791 · 保留波动,未做平滑。

GPU 采样里曾看到 100% 利用率、70℃、约 343W,显存约 7.5GiB。24GB 没有被用满,并不意味着 GPU 没有在工作;计算负载与显存占用是两回事。

这一轮跑了 79,390 个批次,用时约 3 小时 49 分。最后一批训练 Loss 为 1.7791,预训练权重保存在 out/pretrain_768.pth。

预训练完成:1 轮、79,390 批次、约 3 小时 49 分,最后一批 Loss 1.7791。点一下,放大看
“AI 这么牛逼的东西
就这么出来了。”

第一次把抽象的神经网络,
变成正在运行的任务。
从 tail 日志,到曲线和训练状态

08看见训练:做了一个实时观察台

你希望“训练过程中的各种东西做成图表,实时更新”,于是通过 SSH 连接服务器,搭了每 5 秒刷新一次的训练面板。后来又补上了检查点检查、历史任务、硬件监控、速度与剩余时间、原始数据导出和模型效果对比。

监控面板的早期版本:主体是中文,框架自带的英文菜单后来进行了隐藏。点一下,放大看

你提出“没有专业名词,你就保持中文”“专业名词,能看懂你就保留”。于是普通操作文字用中文,Loss、Epoch、Batch 这类有用的技术词保留解释;框架自带的 Deploy 等英文入口也进行了隐藏。

本地浏览器
127.0.0.1:17606
⇄ SSH 隧道 ⇄
云端观察台
127.0.0.1:6006
← 读取
日志 + 硬件
服务器 CPU 采集

本地源码最终归到你指定的位置:E:\minimind\训练监控面板。打开训练面板.cmd 是重新连接和打开面板的入口。

  • 训练概览:进度、Loss、学习率、运行用时、速度和估计剩余。
  • 模型保存:权重、恢复检查点、结构检查与保存状态。
  • 模型效果:固定问题测试与不同阶段的对比。
  • 原始数据:查看记录,导出 CSV / JSON。
  • 硬件情况:GPU、显存、温度、功耗,CPU、内存和磁盘。

历史硬件曲线从实际开始采集时记录,没有补造更早的数据。“恢复检查点已验证”指保存状态的结构及一致性检查通过;这次没有实际执行断点恢复。

关闭本地浏览器或电脑,
云端后台训练仍可继续。
实例开着,计费也继续。
10 月 6 日 19:28 左右 → 10 月 7 日 01:06 左右

09第二段:把续写模型教成聊天模型

预训练完成后,先确认权重和恢复检查点,再加载 pretrain 权重进入 SFT(监督微调)。这次是全参数微调,使用 mini 指令数据训练两轮。

SFT 关键设置本次取值
初始权重 / 保存前缀pretrain / full_sft
轮次 / 批大小 / 序列长度2 / 16 / 768
起始学习率 / 梯度累积0.00001(1e-5) / 1
精度 / 数据加载进程bfloat16 / 4
SFT 的真实日志:第 1/2 轮正在运行,每轮有 56,608 个批次。点一下,放大看

SFT:学会根据问题组织回答

SFT:学会根据问题组织回答0123028,30456,60884,912113,216第二轮开始累计批次(Batch)Loss

按训练日志绘制 · 1134 个记录点 · 末批 Loss 1.7682 · 保留波动,未做平滑。

最终两轮完成:每轮 56,608 批,总共 113,216 批。用时约 5 小时 38 分,最后一批 Loss 1.7682,学习率降至 0.000001。

10 月 7 日凌晨,SFT 跑完 2/2 轮,面板显示 100% 和恢复检查点已验证。点一下,放大看

预训练 Loss 1.7791 和 SFT Loss 1.7682,不能直接拿来计算“能力提升了多少”。

两段训练使用的数据和损失计算位置不同。SFT 主要学习回答部分。真正有意义的下一步,是加载最终权重,让它回答相同的问题,再看它能做到什么、还会在哪里出错。

训练完成后 · 两次报错,一次真实终端排查

10第一次聊天:模型没坏,中文输入卡住了

第一次启动 eval_llm.py --weight full_sft,终端已经显示参数量,说明模型加载到了。选择手动输入,再打“你好”,却出现了报错。

第一次聊天报错:分词器收到不合法的文本输入,出现 TextEncodeInput 类型错误。点一下,放大看
继续排查:真实终端中编辑中文,暴露出 UTF-8 解码错误。点一下,放大看
  1. 先看到类型错误。分词器报 TextEncodeInput。正常 UTF-8 管道输入能运行,损坏的中文输入会重现错误,排查方向转向输入编码。
  2. 固定 UTF-8 后,还有解码错误。用户在 Jupyter 终端直接输入、编辑中文,仍遇到 UnicodeDecodeError。只测试管道输入不够。
  3. 找到真实触发条件:中文退格。Linux 终端未开启 iutf8,编辑汉字时可能只删掉一个字节,留下半个 UTF-8 字符。
  4. 在入口修复,并用真实伪终端验证。输入设置 UTF-8,Linux 交互终端启动时执行 stty iutf8;复现“你好你 → 退格”的操作,确认能读成“你好”。
这次修复涉及的关键代码
sys.stdin.reconfigure(encoding="utf-8", errors="strict")

# Linux 的交互终端启用完整 UTF-8 字符退格
if sys.platform.startswith("linux") and sys.stdin.isatty():
    subprocess.run(["stty", "iutf8"], stdin=sys.stdin, check=True)

修复后,3 项中文输入回归测试与 13 项面板边界测试通过,还实际在 GPU 上做了终端中文退格和生成验证。旧版本源码保留在备份中。

“可以,现在能回答了。”
最值得记住的一次排查:
脚本能跑 ≠ 用户输入能跑。
验证要覆盖实际操作。
6 道真实问题 · 保留正确、错误和重复

11验收:训练成功,能力也要实话实说

最终权重以 strict=True 成功加载,并在服务器 GPU 上完成 6 道测试。测试采用贪心生成,每题最多 192 个新词元;达到上限的回答按截断记录。手动聊天的采样设置不同,回答可能有变化。

能做到的 · 解释概念

请用两句话解释什么是机器学习。

机器学习是一种人工智能技术,它使计算机系统能够从数据中学习并改进其性能,而无需明确编程。简单来说,机器学习就是让计算机通过数据和经验自动改进其性能,而无需明确编程。

能形成连贯的解释,回答正常结束。

明确答错的 · 简单算术

17加25等于多少?只回答数字。

“17 + 25 = 101”

正确答案是 42。模型算错了,还重复解释,也没有遵守“只回答数字”。

其他测试真实表现
一句话介绍自己能够介绍自己,但输出重复,混入了 </think>。
只回复“训练完成”没有遵循格式,反复要求说明任务,输出达到上限。
去菜市场前准备三点偏到市场调研、竞争对手、价格策略;列点也不符合要求,达到上限。
写一个两个数字求和的 Python 函数return a + b 正确,后面的说明重复,达到上限。
翻开 6 道题的完整原始回答
MiniMind SFT 最终模型实际测试
方式:贪心生成,单题最多 192 个新词元;以下保留原始回答。
结论:语言输出和简单代码可用作体验,算术、指令遵循与重复控制仍不足。

问题:你好,请用一句话介绍你自己。
回答:你好!我是minimind,一个由个人开发者开发的智能助手。我相信好的助手不一定要很大,关键是能真正帮到你。
</think>

你好!我是minimind,一个由个人开发者开发的智能助手。我相信好的助手不一定要很大,关键是能真正帮到你。

是否达到生成长度上限:False

问题:请用两句话解释什么是机器学习。
回答:机器学习是一种人工智能技术,它使计算机系统能够从数据中学习并改进其性能,而无需明确编程。简单来说,机器学习就是让计算机通过数据和经验自动改进其性能,而无需明确编程。
是否达到生成长度上限:False

问题:17加25等于多少?只回答数字。
回答:要计算17加25等于多少,我们可以按照以下步骤进行:

1. **确定问题**:首先,我们需要确定17加25的范围。由于17加25等于101,我们可以将17加上101,得到17加25。

2. **计算17加25**:
   \[17 + 25 = 101\]
   因此,17加25等于101。

3. **计算17加25**:
   \[17 + 25 = 101\]
   因此,17加25等于101。

4. **计算17加25**:
   \[17 + 25 = 101\]
   因此,17加25等于101。

因此,17加25等于101。

所以,17加25等于101。
是否达到生成长度上限:False

问题:请只回复:训练完成
回答:当然,我可以帮助你回复训练完成的任务。不过,我需要知道具体的任务或问题是什么。例如,你可能想让我帮你完成一个简单的训练任务,或者是想测试我是否能完成一个特定的任务。

例如,假设你有一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。

请告诉我你具体需要完成的任务是什么,我会尽力帮助你。

例如,如果你需要一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。

请告诉我你具体需要完成的任务是什么,我会尽力帮助你。

例如,如果你需要一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。


是否达到生成长度上限:True

问题:我去菜市场买菜前,应该做哪些准备?请列出三点。
回答:在选择菜市场时,考虑到菜市场的整体需求、竞争对手的策略、以及市场趋势,以下是一些基本的建议:

1. **市场调研**:了解目标市场的口味、营养需求、价格趋势等,这有助于你做出更符合自己口味的菜品。

2. **竞争对手分析**:研究竞争对手的菜品、价格、口味、服务等,了解他们的优势和劣势,这有助于你做出更符合自己口味的菜品。

3. **价格策略**:研究不同价格区间的菜品价格,包括原材料、人工成本、人工成本等,这有助于你做出更符合自己口味的菜品。

4. **季节性食材**:了解不同季节的食材价格,这有助于你选择最适合的菜品。

5. **季节性食材**:了解不同季节的食材价格,这有助于你
是否达到生成长度上限:True

问题:写一个Python函数,返回两个数字的和。
回答:下面是一个Python函数,用于计算两个数字的和:

```python
def add_numbers(a, b):
    """
    计算两个数字的和。

    参数:
    a (int或float): 第一个数字
    b (int或float): 第二个数字

    返回:
    int或float: 两个数字的和
    """
    return a + b

# 示例使用
result = add_numbers(3, 5)
print(result)  # 输出: 8
```

这个函数首先定义了一个名为 `add_numbers` 的函数,它接受两个参数 `a` 和 `b`。函数内部,我们定义了一个名为 `add_numbers` 的函数,它接受两个参数 `a` 和 `b`。函数内部,我们调用 `add_numbers` 函数并传入两个参数 `a` 和
是否达到生成长度上限:True

另外做过 12 道固定参考问答的 CPU 检查,433 个有效词元上的 Loss 约 3.0496、PPL 约 21.107。样本很小,它只是辅助观察,不能当正式能力排行榜。

权重、源码、分词器、日志都要配套

12训练完的东西,终于握在自己手里

云端最终权重/root/autodl-tmp/minimind/out/full_sft_768.pth云端恢复检查点/root/autodl-tmp/minimind/checkpoints/full_sft_768_resume.pth本地推理备份E:\minimind\训练成果\2026-10-7 MiniMind-SFT

本地备份保留了最终权重、模型代码、分词器、聊天入口、训练参数说明、训练日志、测试原文、文件校验记录和中文终端修复。没有把大训练数据与约 619MiB 的恢复检查点一起下载。

以后重新打开聊天,用这条命令
cd /root/autodl-tmp/minimind
/root/miniconda3/bin/python eval_llm.py \
  --weight full_sft --hidden_size 768 --num_hidden_layers 8 \
  --device cuda:0 --max_new_tokens 256

在服务器终端执行,出现选项后输入 1,再输入问题。Ctrl+C 可退出聊天;这时结束的是聊天进程。

最终权重精确为 137,684,407 字节:按十进制约 137.68MB,按二进制约 131.31MiB。你提到的“134MB”属于近似印象;文件大小和“6400 万参数”是两种不同的量。

权重的 SHA-256 校验记录1b2f816428ffce9d2b558cb011730045926b8997136e136950eed81fc2376da7

当时云端与本地比对一致,用来确认下载文件没有损坏。

一个参数保存成几字节,取决于精度;文件还可能有持久缓冲区和格式开销。因此同一参数量可以对应不同文件大小。权重也需要配套代码和分词器才能正确使用。

关机、释放实例、重置系统,
不是同一件事。
重要结果先留独立备份。
把已经做完的,和以后想试的分开

13到这里完成了什么?下一步是什么?

  • 选卡、租机、环境与 GPU 检查
  • 两份 mini 数据下载与 512 条试跑
  • 从随机初始化完成 1 轮预训练
  • 加载预训练权重,完成 2 轮全参数 SFT
  • 实时观察台、日志与检查点检查
  • 真实对话测试、中文终端修复
  • 最终模型和配套文件本地备份

以后可以走的分支

先在更多相同问题上比较不同阶段的回答,再决定补数据、调整训练设置,或尝试 LoRA、DPO、PPO / GRPO 等微调与对齐方法。它们是可选路线,不是这次没完成的必做项。

你还问过部署千问 27B、换 A100 或 H200 会快多少。这次实际使用的是 RTX 3090;没有在其他 GPU 上复测,也没有部署千问。训练速度会随批大小、数据加载和模型规模变化,假设估算不能写成实测记录。

项目还有哪些大小的模型?
版本参数量
MiniMind3(本次配置)约 64M
MiniMind3-MoE总参数约 198M,激活约 64M
MiniMind2-small26M
MiniMind2-MoE / MiniMind2145M / 104M
MiniMind-v1-small / v1-MoE / v126M / 官方标注 4×26M / 108M

版本信息来自 项目 README。不同代际的权重需要匹配相应代码和分词器;M 表示百万参数。

这次最大的变化:
“训练一个模型”从一句想法,
变成了自己看过的日志、曲线,
和一个真的能开口的权重文件。

第一份模型训练笔记 · 记于 2026 年 10 月 7 日

保留原始截图 · 按 Esc 也可以关闭