第一次,
把一个模型
从零训出来。
从“3090 都被租完了”,
到“可以,现在能回答了”。
把一路上的问题、截图和踩坑,认真记下来。
一个夜晚,走完一条真实的训练链路。
成功的地方记下来,答错的地方也不藏。
01一个想法:我也想自己训模型
“先了解一下项目,我打算自己训一个模型,待会不懂的问你。”
这次的起点是 MiniMind 项目。目标很具体:从随机初始化的参数开始,亲手跑过预训练和 SFT,最后和自己的模型说上话。
最初想到的是已有的腾讯云服务器,后来决定在 AutoDL 租一台带 GPU 的服务器。最终训练发生在云端,本地电脑负责浏览器操作、远程连接和查看进度。
GPU ≠ 整台服务器。
显存 ≠ 保存模型的硬盘。
02挑 GPU:3090 没了,就换一个区
最后租到:内蒙古 B 区 · 420 机 · 单卡 RTX 3090 / 24GB。
| 这一台有什么 | 实际记录 | 这次用来做什么 |
|---|---|---|
| GPU | RTX 3090,24GB 显存 | 预训练、SFT、最终生成测试 |
| CPU / 内存 | 终端报告 14 核 / 90GB | 准备数据、运行监控、CPU 测试 |
| 硬盘 | 系统盘 30GB,数据盘 50GB | 代码、数据、日志、权重 |
| 计费 | 按量计费 ¥1.56 / 小时 | 按实例运行时间计算费用 |
页面创建时曾显示 60GB 内存,开机终端报告 90GB;这里保留实际运行记录。选卡过程的截图里还有其他机器,最终实例以 420 机为准。
预训练 3 小时 49 分 + SFT 5 小时 38 分 = 9 小时 27 分
9.45 × ¥1.56 ≈ ¥14.74
这是两段训练的算力费用估算,不是实际账单。装环境、下载、测试和空闲开机时间都另占运行时间。
03装环境:这些工具各自干什么
实际检查结果:Python 3.12.3、PyTorch 2.8.0+cu128,CUDA 可用 = True,GPU 名称为 NVIDIA GeForce RTX 3090。项目模型代码和分词器都能加载。
- Python
- 运行训练和推理脚本的编程语言。
- PyTorch
- 搭建神经网络、做张量运算、自动求梯度,再通过优化器更新参数。
- CUDA
- 让 PyTorch 能使用 NVIDIA GPU 加速计算的一套基础工具。
- Transformers / Tokenizer
- 提供模型和生成接口;分词器把文字变成词元编号,也把生成的编号还原成文字。
- Datasets / ModelScope
- 前者负责读入、组织数据;后者这次用于下载训练数据。
- Streamlit / 图表工具
- 把训练日志与硬件采样数据变成网页和曲线。
PyTorch 显示 cu128。
这里可以一起正常工作;
前者显示驱动支持的能力。
04数据到齐,先跑一个小样
| 数据文件 | 条数 | 文件约多大 | 用途 |
|---|---|---|---|
pretrain_t2t_mini.jsonl | 1,270,238 | 1.2GB | 学习文本的续写与语言规律 |
sft_t2t_mini.jsonl | 905,718 | 1.7GB | 学习问题、指令与回答的关系 |
两份都是项目的 mini 数据,适合先把训练流程走通。它们来自 ModelScope 的 gongjy/minimind_dataset,保存在服务器的 /root/autodl-tmp/minimind/dataset/。
没有一上来就把整份数据喂进去:先从预训练文件取前 512 条,用批大小 16 跑一轮,一共 32 个批次。模型代码、数据读取、GPU、反向传播和权重保存都能工作,再开始正式训练。
试跑最后一批 Loss 为 8.0724,生成了 smoke_pretrain_768.pth。这个阶段的目的是检查训练链路;只有 512 条样本,不能据此期待模型会聊天。
再把时间和预算交给全量任务。
05模型里,到底发生了什么
“今天天气”
词元编号
× 8 层
预测与概率
每批数据经历的训练循环:前向计算 → 训练损失(Loss)→ 反向传播 → 优化器更新。参数是学出来的数字,Transformer 则是这些数字所在的网络结构。
这次模型的“身份证”
63,912,192 个参数 ≈ 6400 万
8 层 Transformer · 隐藏维度 768 · 词表 6400
8 个查询注意力头 / 4 个键值头 · Dense 结构
SiLU(x) = x · sigmoid(x)
SiLU 对输入进行平滑的非线性变换;SwiGLU 再让一条分支控制另一条分支的信息通过量。只做线性变换不够,非线性让多层网络能表达更复杂的关系。
06轮次、批次,还有参数更新
| 阶段 | 轮次 | 每轮批次 | 梯度累积 |
|---|---|---|---|
| 预训练 | 1 | 79,390 | 8 批累积后更新一次 |
| SFT | 2 | 56,608 | 每批更新一次 |
预训练的批大小 16、梯度累积 8,所以一般相当于每积累 128 条样本的梯度再更新参数。SFT 的累积为 1,通常每 16 条更新一次。批次数不一定等于参数更新次数。
日志的 Epoch:[1/2](4800/56608) 表示:总共计划两轮,现在是第一轮,已经处理到这一轮的第 4,800 批。
56,608 × 2 = 113,216。
进入第二轮后,
轮内批次从头计数。
07第一段:预训练真的跑起来了
从随机参数开始,用预训练文本学习预测下一个词元。正式任务只跑 1 轮:批大小 16、序列长度上限 768、梯度累积 8、bfloat16、4 个数据加载进程。
翻开当时的正式启动命令
cd /root/autodl-tmp/minimind/trainer
nohup python -u train_pretrain.py --data_path ../dataset/pretrain_t2t_mini.jsonl --epochs 1 --batch_size 16 --max_seq_len 768 --accumulation_steps 8 --num_workers 4 --device cuda:0 --dtype bfloat16 --from_weight none --save_weight pretrain --save_dir ../out --log_interval 100 --save_interval 1000 > ../pretrain_run1.log 2>&1 &这里记录的是已经完成的任务,不需要为了看笔记再次运行。
预训练:从读不通,到能预测下一个词元
按训练日志绘制 · 794 个记录点 · 末批 Loss 1.7791 · 保留波动,未做平滑。
GPU 采样里曾看到 100% 利用率、70℃、约 343W,显存约 7.5GiB。24GB 没有被用满,并不意味着 GPU 没有在工作;计算负载与显存占用是两回事。
这一轮跑了 79,390 个批次,用时约 3 小时 49 分。最后一批训练 Loss 为 1.7791,预训练权重保存在 out/pretrain_768.pth。
就这么出来了。”
第一次把抽象的神经网络,
变成正在运行的任务。
08看见训练:做了一个实时观察台
你希望“训练过程中的各种东西做成图表,实时更新”,于是通过 SSH 连接服务器,搭了每 5 秒刷新一次的训练面板。后来又补上了检查点检查、历史任务、硬件监控、速度与剩余时间、原始数据导出和模型效果对比。
你提出“没有专业名词,你就保持中文”“专业名词,能看懂你就保留”。于是普通操作文字用中文,Loss、Epoch、Batch 这类有用的技术词保留解释;框架自带的 Deploy 等英文入口也进行了隐藏。
127.0.0.1:17606
127.0.0.1:6006
服务器 CPU 采集
本地源码最终归到你指定的位置:E:\minimind\训练监控面板。打开训练面板.cmd 是重新连接和打开面板的入口。
- 训练概览:进度、Loss、学习率、运行用时、速度和估计剩余。
- 模型保存:权重、恢复检查点、结构检查与保存状态。
- 模型效果:固定问题测试与不同阶段的对比。
- 原始数据:查看记录,导出 CSV / JSON。
- 硬件情况:GPU、显存、温度、功耗,CPU、内存和磁盘。
历史硬件曲线从实际开始采集时记录,没有补造更早的数据。“恢复检查点已验证”指保存状态的结构及一致性检查通过;这次没有实际执行断点恢复。
云端后台训练仍可继续。
实例开着,计费也继续。
09第二段:把续写模型教成聊天模型
预训练完成后,先确认权重和恢复检查点,再加载 pretrain 权重进入 SFT(监督微调)。这次是全参数微调,使用 mini 指令数据训练两轮。
| SFT 关键设置 | 本次取值 |
|---|---|
| 初始权重 / 保存前缀 | pretrain / full_sft |
| 轮次 / 批大小 / 序列长度 | 2 / 16 / 768 |
| 起始学习率 / 梯度累积 | 0.00001(1e-5) / 1 |
| 精度 / 数据加载进程 | bfloat16 / 4 |
SFT:学会根据问题组织回答
按训练日志绘制 · 1134 个记录点 · 末批 Loss 1.7682 · 保留波动,未做平滑。
最终两轮完成:每轮 56,608 批,总共 113,216 批。用时约 5 小时 38 分,最后一批 Loss 1.7682,学习率降至 0.000001。
预训练 Loss 1.7791 和 SFT Loss 1.7682,不能直接拿来计算“能力提升了多少”。
两段训练使用的数据和损失计算位置不同。SFT 主要学习回答部分。真正有意义的下一步,是加载最终权重,让它回答相同的问题,再看它能做到什么、还会在哪里出错。
10第一次聊天:模型没坏,中文输入卡住了
第一次启动 eval_llm.py --weight full_sft,终端已经显示参数量,说明模型加载到了。选择手动输入,再打“你好”,却出现了报错。
- 先看到类型错误。分词器报
TextEncodeInput。正常 UTF-8 管道输入能运行,损坏的中文输入会重现错误,排查方向转向输入编码。 - 固定 UTF-8 后,还有解码错误。用户在 Jupyter 终端直接输入、编辑中文,仍遇到
UnicodeDecodeError。只测试管道输入不够。 - 找到真实触发条件:中文退格。Linux 终端未开启
iutf8,编辑汉字时可能只删掉一个字节,留下半个 UTF-8 字符。 - 在入口修复,并用真实伪终端验证。输入设置 UTF-8,Linux 交互终端启动时执行
stty iutf8;复现“你好你 → 退格”的操作,确认能读成“你好”。
这次修复涉及的关键代码
sys.stdin.reconfigure(encoding="utf-8", errors="strict")
# Linux 的交互终端启用完整 UTF-8 字符退格
if sys.platform.startswith("linux") and sys.stdin.isatty():
subprocess.run(["stty", "iutf8"], stdin=sys.stdin, check=True)修复后,3 项中文输入回归测试与 13 项面板边界测试通过,还实际在 GPU 上做了终端中文退格和生成验证。旧版本源码保留在备份中。
“可以,现在能回答了。”
脚本能跑 ≠ 用户输入能跑。
验证要覆盖实际操作。
11验收:训练成功,能力也要实话实说
最终权重以 strict=True 成功加载,并在服务器 GPU 上完成 6 道测试。测试采用贪心生成,每题最多 192 个新词元;达到上限的回答按截断记录。手动聊天的采样设置不同,回答可能有变化。
请用两句话解释什么是机器学习。
机器学习是一种人工智能技术,它使计算机系统能够从数据中学习并改进其性能,而无需明确编程。简单来说,机器学习就是让计算机通过数据和经验自动改进其性能,而无需明确编程。
能形成连贯的解释,回答正常结束。
17加25等于多少?只回答数字。
“17 + 25 = 101”
正确答案是 42。模型算错了,还重复解释,也没有遵守“只回答数字”。
| 其他测试 | 真实表现 |
|---|---|
| 一句话介绍自己 | 能够介绍自己,但输出重复,混入了 </think>。 |
| 只回复“训练完成” | 没有遵循格式,反复要求说明任务,输出达到上限。 |
| 去菜市场前准备三点 | 偏到市场调研、竞争对手、价格策略;列点也不符合要求,达到上限。 |
| 写一个两个数字求和的 Python 函数 | return a + b 正确,后面的说明重复,达到上限。 |
翻开 6 道题的完整原始回答
MiniMind SFT 最终模型实际测试
方式:贪心生成,单题最多 192 个新词元;以下保留原始回答。
结论:语言输出和简单代码可用作体验,算术、指令遵循与重复控制仍不足。
问题:你好,请用一句话介绍你自己。
回答:你好!我是minimind,一个由个人开发者开发的智能助手。我相信好的助手不一定要很大,关键是能真正帮到你。
</think>
你好!我是minimind,一个由个人开发者开发的智能助手。我相信好的助手不一定要很大,关键是能真正帮到你。
是否达到生成长度上限:False
问题:请用两句话解释什么是机器学习。
回答:机器学习是一种人工智能技术,它使计算机系统能够从数据中学习并改进其性能,而无需明确编程。简单来说,机器学习就是让计算机通过数据和经验自动改进其性能,而无需明确编程。
是否达到生成长度上限:False
问题:17加25等于多少?只回答数字。
回答:要计算17加25等于多少,我们可以按照以下步骤进行:
1. **确定问题**:首先,我们需要确定17加25的范围。由于17加25等于101,我们可以将17加上101,得到17加25。
2. **计算17加25**:
\[17 + 25 = 101\]
因此,17加25等于101。
3. **计算17加25**:
\[17 + 25 = 101\]
因此,17加25等于101。
4. **计算17加25**:
\[17 + 25 = 101\]
因此,17加25等于101。
因此,17加25等于101。
所以,17加25等于101。
是否达到生成长度上限:False
问题:请只回复:训练完成
回答:当然,我可以帮助你回复训练完成的任务。不过,我需要知道具体的任务或问题是什么。例如,你可能想让我帮你完成一个简单的训练任务,或者是想测试我是否能完成一个特定的任务。
例如,假设你有一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。
请告诉我你具体需要完成的任务是什么,我会尽力帮助你。
例如,如果你需要一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。
请告诉我你具体需要完成的任务是什么,我会尽力帮助你。
例如,如果你需要一个简单的训练任务,比如“Hello, World!”,你想让我帮你完成一个简单的训练任务,比如“Hello, World!”。
是否达到生成长度上限:True
问题:我去菜市场买菜前,应该做哪些准备?请列出三点。
回答:在选择菜市场时,考虑到菜市场的整体需求、竞争对手的策略、以及市场趋势,以下是一些基本的建议:
1. **市场调研**:了解目标市场的口味、营养需求、价格趋势等,这有助于你做出更符合自己口味的菜品。
2. **竞争对手分析**:研究竞争对手的菜品、价格、口味、服务等,了解他们的优势和劣势,这有助于你做出更符合自己口味的菜品。
3. **价格策略**:研究不同价格区间的菜品价格,包括原材料、人工成本、人工成本等,这有助于你做出更符合自己口味的菜品。
4. **季节性食材**:了解不同季节的食材价格,这有助于你选择最适合的菜品。
5. **季节性食材**:了解不同季节的食材价格,这有助于你
是否达到生成长度上限:True
问题:写一个Python函数,返回两个数字的和。
回答:下面是一个Python函数,用于计算两个数字的和:
```python
def add_numbers(a, b):
"""
计算两个数字的和。
参数:
a (int或float): 第一个数字
b (int或float): 第二个数字
返回:
int或float: 两个数字的和
"""
return a + b
# 示例使用
result = add_numbers(3, 5)
print(result) # 输出: 8
```
这个函数首先定义了一个名为 `add_numbers` 的函数,它接受两个参数 `a` 和 `b`。函数内部,我们定义了一个名为 `add_numbers` 的函数,它接受两个参数 `a` 和 `b`。函数内部,我们调用 `add_numbers` 函数并传入两个参数 `a` 和
是否达到生成长度上限:True
另外做过 12 道固定参考问答的 CPU 检查,433 个有效词元上的 Loss 约 3.0496、PPL 约 21.107。样本很小,它只是辅助观察,不能当正式能力排行榜。
12训练完的东西,终于握在自己手里
/root/autodl-tmp/minimind/out/full_sft_768.pth云端恢复检查点/root/autodl-tmp/minimind/checkpoints/full_sft_768_resume.pth本地推理备份E:\minimind\训练成果\2026-10-7 MiniMind-SFT本地备份保留了最终权重、模型代码、分词器、聊天入口、训练参数说明、训练日志、测试原文、文件校验记录和中文终端修复。没有把大训练数据与约 619MiB 的恢复检查点一起下载。
以后重新打开聊天,用这条命令
cd /root/autodl-tmp/minimind
/root/miniconda3/bin/python eval_llm.py \
--weight full_sft --hidden_size 768 --num_hidden_layers 8 \
--device cuda:0 --max_new_tokens 256在服务器终端执行,出现选项后输入 1,再输入问题。Ctrl+C 可退出聊天;这时结束的是聊天进程。
最终权重精确为 137,684,407 字节:按十进制约 137.68MB,按二进制约 131.31MiB。你提到的“134MB”属于近似印象;文件大小和“6400 万参数”是两种不同的量。
权重的 SHA-256 校验记录
1b2f816428ffce9d2b558cb011730045926b8997136e136950eed81fc2376da7当时云端与本地比对一致,用来确认下载文件没有损坏。
一个参数保存成几字节,取决于精度;文件还可能有持久缓冲区和格式开销。因此同一参数量可以对应不同文件大小。权重也需要配套代码和分词器才能正确使用。
不是同一件事。
重要结果先留独立备份。
13到这里完成了什么?下一步是什么?
- 选卡、租机、环境与 GPU 检查
- 两份 mini 数据下载与 512 条试跑
- 从随机初始化完成 1 轮预训练
- 加载预训练权重,完成 2 轮全参数 SFT
- 实时观察台、日志与检查点检查
- 真实对话测试、中文终端修复
- 最终模型和配套文件本地备份
以后可以走的分支
先在更多相同问题上比较不同阶段的回答,再决定补数据、调整训练设置,或尝试 LoRA、DPO、PPO / GRPO 等微调与对齐方法。它们是可选路线,不是这次没完成的必做项。
你还问过部署千问 27B、换 A100 或 H200 会快多少。这次实际使用的是 RTX 3090;没有在其他 GPU 上复测,也没有部署千问。训练速度会随批大小、数据加载和模型规模变化,假设估算不能写成实测记录。
项目还有哪些大小的模型?
| 版本 | 参数量 |
|---|---|
| MiniMind3(本次配置) | 约 64M |
| MiniMind3-MoE | 总参数约 198M,激活约 64M |
| MiniMind2-small | 26M |
| MiniMind2-MoE / MiniMind2 | 145M / 104M |
| MiniMind-v1-small / v1-MoE / v1 | 26M / 官方标注 4×26M / 108M |
版本信息来自 项目 README。不同代际的权重需要匹配相应代码和分词器;M 表示百万参数。
这次最大的变化:
“训练一个模型”从一句想法,
变成了自己看过的日志、曲线,
和一个真的能开口的权重文件。
第一份模型训练笔记 · 记于 2026 年 10 月 7 日