1. 什么是深度学习?
深度学习(Deep Learning)是机器学习的一个分支,它用多层神经网络来学习数据的复杂模式。如果说机器学习是"让机器从数据中找规律",那深度学习就是"用更强大的工具找更复杂的规律"。
深度学习之所以火,是因为它在很多任务上超越了传统方法——图像识别、语音识别、自然语言理解、游戏 AI、科学发现……几乎所有 AI 领域的突破性进展背后都有深度学习的身影。
一个类比
传统机器学习像是"用计算器算账"——你需要人工告诉它用哪些数字、怎么算。
深度学习像是"给一个实习生一堆财务报表,让他自己摸索出怎么看账"——你不需要告诉他每一步怎么做,他自己会从数据中学会。
1.1 深度学习 vs 传统机器学习
| 传统机器学习 | 深度学习 |
| 特征工程 | 需要人工设计特征(很费时) | 自动学习特征(端到端) |
| 数据需求 | 小数据也能用(几千条) | 需要大量数据(几万到几亿) |
| 计算需求 | CPU 就够 | 需要 GPU/TPU |
| 可解释性 | 较好(决策树、线性回归) | 较差(黑箱) |
| 适用数据 | 结构化数据(表格) | 非结构化数据(图像、文本、音频) |
| 模型复杂度 | 相对简单 | 参数可达数十亿 |
| 典型算法 | SVM、随机森林、XGBoost | CNN、RNN、Transformer |
什么时候用深度学习?
用深度学习:数据量大、数据是非结构化的(图像/文本/音频)、任务复杂、有 GPU。
用传统 ML:数据量小、数据是表格形式、需要可解释性、计算资源有限。
不要盲目追求深度学习——在表格数据上,XGBoost 经常比深度学习更好用。
1.2 为什么叫"深度"学习?
"深度"指的是神经网络的层数多。层数越多,网络能学到的特征越抽象。
第 1 层
边缘检测——学会识别图片中的边缘、线条、颜色变化。就像你看画时最先注意到的轮廓。
第 2 层
纹理检测——把边缘组合成纹理,如毛发、砖块、天空。开始理解"这个区域是什么材质"。
第 3 层
部件检测——把纹理组合成部件,如眼睛、轮子、窗户。开始理解"这个东西由什么组成"。
第 4 层
物体识别——把部件组合成完整的物体,如人脸、汽车、房子。最终理解"这是什么"。
一个类比
看一幅画的过程:
你先看到线条和颜色(低级特征)→ 然后注意到纹理和形状(中级特征)→ 接着认出眼睛、鼻子(高级特征)→ 最后认出这是一张人脸(语义理解)。
深度学习的每一层就像你大脑中处理视觉信息的一个"阶段",越深层理解越抽象。
1.3 深度学习的历史
1
1943-1969:萌芽期——McCulloch 和 Pitts 提出人工神经元模型(1943);Rosenblatt 发明感知机(1958),能做简单分类;Minsky 证明感知机连"异或"都学不了(1969),AI 进入第一次寒冬。
2
1986-1998:反向传播时代——Rumelhart 等人重新发现反向传播算法(1986),让多层网络的训练成为可能;LeCun 用 CNN 做手写数字识别(1998),但受限于计算能力和数据量。
3
2006-2011:深度学习复兴——Hinton 提出深度信念网络和逐层预训练(2006),证明深层网络可以训练;GPU 开始用于深度学习计算。
4
2012:引爆点——AlexNet 在 ImageNet 竞赛中碾压传统方法(错误率从 26% 降到 15%),深度学习正式登上历史舞台。三大因素同时具备:大数据(ImageNet)、大算力(GPU)、好算法(ReLU、Dropout)。
5
2017-至今:Transformer 与大模型时代——Transformer 架构诞生(2017),BERT(2018)、GPT-2(2019)、GPT-3(2020)、ChatGPT(2022)、GPT-4(2023)相继问世。AI 从"能用"变成"好用",开始改变每个行业。
1.4 深度学习能做什么
| 领域 | 具体应用 | 核心技术 |
| 计算机视觉 | 人脸识别、自动驾驶、医学影像诊断、图片搜索 | CNN、ViT、YOLO |
| 自然语言处理 | 机器翻译、智能客服、文本摘要、代码生成 | Transformer、LLM |
| 语音 | 语音识别、语音合成、语音克隆 | Wav2Vec、TTS |
| 生成式 AI | AI 绘画、AI 写作、AI 作曲、视频生成 | Diffusion、GPT |
| 游戏与决策 | 围棋 AI、星际争霸 AI、机器人控制 | 强化学习、PPO |
| 科学研究 | 蛋白质结构预测、药物发现、天气预报 | AlphaFold、GNN |
1.5 端到端学习(End-to-End Learning)
深度学习最大的优势之一是端到端学习——从原始输入直接到最终输出,中间不需要人工干预。
传统方法 vs 端到端方法
1
传统方法(以语音识别为例)——原始音频 → 人工提取 MFCC 特征 → 声学模型 → 音素序列 → 语言模型 → 文字。每个环节都需要人工设计,误差会逐层累积。
2
端到端方法——原始音频 → 深度神经网络 → 文字。一个模型搞定一切,自动学习所有中间表示。
一个类比
传统方法像是"流水线工厂"——每个工人只负责一道工序,需要有人设计整个流水线的流程。
端到端方法像是"全自动机器人"——你只需要告诉它"输入是什么、输出应该是什么",它自己学会中间所有步骤。
端到端学习的例子
| 任务 | 传统方法(多阶段) | 端到端方法 |
| 图像分类 | 手工提取 HOG/SIFT 特征 → SVM 分类 | 图片 → CNN → 类别 |
| 语音识别 | MFCC 特征 → 声学模型 → 语言模型 | 音频波形 → Wav2Vec → 文字 |
| 机器翻译 | 词法分析 → 句法分析 → 翻译规则 → 生成 | 源语言文本 → Transformer → 目标语言文本 |
| 自动驾驶 | 物体检测 → 跟踪 → 路径规划 → 控制 | 传感器数据 → 神经网络 → 方向盘/油门 |
端到端学习的条件
端到端学习需要大量标注数据。数据越多,模型越能自动学到好的中间表示。如果数据不够,人工设计的特征可能更好——这就是为什么在小数据场景下,传统机器学习仍然有优势。
端到端不一定是最好的——有时候把任务拆成几个阶段,每个阶段单独优化,效果更好。比如自动驾驶通常不会完全端到端,而是分感知、预测、规划三个模块。工程上的可解释性和可调试性也很重要。
1.6 深度学习的三要素
深度学习的成功依赖于三个关键要素,缺一不可:
数据
海量高质量数据——深度学习是"数据饥渴型"的。模型越大,需要的数据越多。数据的质量比数量更重要——"Garbage in, garbage out"。ImageNet(1400 万张标注图片)的出现是深度学习爆发的关键推动力。
算力
强大的计算资源——GPU/TPU 提供了大规模并行计算能力。一块 NVIDIA A100 GPU 的算力相当于几千个 CPU 核心。没有 GPU,训练一个大模型可能需要几年;有了 GPU,几天就够了。
算法
好的模型架构和训练方法——ReLU 解决了梯度消失、BatchNorm 加速了训练、残差连接让深层网络成为可能、Transformer 实现了大规模并行、Adam 优化器让调参更简单。每一个算法突破都推动了整个领域前进。
三要素缺一不可
有数据没算力→训练不动(1990s 的困境)
有算力没数据→模型学不到东西(小公司的困境)
有数据有算力没好算法→效果上不去(2012 年之前的困境)
2012 年三者同时具备,深度学习才真正爆发。
2. 神经网络:从零开始理解
这一章从最基础的概念开始,一步步带你理解神经网络是怎么工作的。不需要任何前置知识,我会用大量的类比让你建立直觉。
2.1 生物神经元与人工神经元
人工神经网络的灵感来自人类大脑。大脑有约 860 亿个神经元,每个神经元通过"突触"与其他神经元连接,形成一个庞大的网络。
生物神经元的工作方式
- 树突:接收来自其他神经元的信号(输入)
- 细胞体:把所有输入信号汇总,如果总信号超过某个阈值,就"激活"
- 轴突:把激活信号传递给下一个神经元(输出)
人工神经元
人工神经元模仿了这个过程:
- 输入:x₁, x₂, ..., xₙ —— 来自上一层的数据
- 权重:w₁, w₂, ..., wₙ —— 每个输入的"重要程度",训练时学习
- 加权求和:
z = w₁x₁ + w₂x₂ + ... + wₙxₙ + b(b 是偏置,可以理解为"阈值"的相反数)
- 激活函数:
a = f(z) —— 决定这个神经元是否"激活"、激活到什么程度
一个类比
想象你在决定要不要出门:
输入:天气好不好(x₁)、朋友有没有空(x₂)、作业做完了没(x₃)
权重:你有多在意天气(w₁)、有多想见朋友(w₂)、有多怕作业没做完(w₃)
加权求和:综合考虑所有因素,算出一个"出门意愿分数"
激活函数:如果分数超过某个阈值→出门;否则→待在家
2.2 感知机:最简单的神经网络
感知机(Perceptron)只有一个神经元,是最简单的神经网络。它能做"二分类"——把数据分成两类。
感知机的结构
输出 = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)
其中 f 是阶跃函数:如果 z > 0,输出 1;否则输出 0。
1
接收输入——比如一个学生的成绩:数学 90 分、语文 60 分、英语 80 分
2
加权求和——z = 0.5×90 + 0.3×60 + 0.2×80 + b = 45+18+16+b = 79+b
3
激活判断——如果 z > 阈值(比如 70),预测"及格";否则"不及格"
感知机的致命缺陷
1969 年,Minsky 证明了感知机连"异或"(XOR)都学不了。异或的意思是:两个输入相同→输出 0,不同→输出 1。这个问题线性不可分——你画一条直线无法把"相同"和"不同"分开。
这个发现让 AI 进入了长达十几年的寒冬。解决方案?叠加多层——这就是多层感知机。
2.3 多层感知机(MLP)
多层感知机就是在输入和输出之间加了"隐藏层"。有了隐藏层,网络就能学习非线性的复杂模式。
结构
- 输入层:接收原始数据,不做任何计算。有多少个特征就有多少个神经元。
- 隐藏层:一层或多层,每层有若干个神经元。层数越多、每层神经元越多,模型越"强大"(但也更容易过拟合)。
- 输出层:给出最终结果。二分类用 1 个神经元 + Sigmoid,多分类用 N 个神经元 + Softmax,回归用 1 个神经元 + 线性输出。
工厂流水线的类比
把神经网络想象成一个工厂流水线:
原材料(输入)→ 第一道工序(隐藏层 1):粗加工,提取简单特征 → 第二道工序(隐藏层 2):精加工,组合成复杂特征 → 第三道工序(隐藏层 3):最终加工 → 成品(输出)
每道工序都在上一步的基础上加工,越到后面产品越精细。
万能近似定理
一个非常重要的理论结果:只要隐藏层有足够多的神经元,单隐藏层的前馈网络可以近似任何连续函数。
这意味着神经网络理论上可以学习任何输入到输出的映射。但"理论上能"不代表"实践中好训练"——更深的网络通常比更宽的浅层网络更高效。
2.4 激活函数全解
激活函数是神经网络的"灵魂"。如果没有激活函数,无论叠多少层,整个网络都等价于一个线性变换——无法学习任何复杂模式。
为什么需要非线性?
没有激活函数时:y = W₃(W₂(W₁x + b₁) + b₂) + b₃ = W'x + b'——还是线性函数!
加上激活函数后:y = f₃(W₃·f₂(W₂·f₁(W₁x + b₁) + b₂) + b₃)——变成了非线性函数,能拟合任意复杂的曲线。
常见激活函数详解
| 函数 | 公式 | 输出范围 | 优点 | 缺点 |
| Sigmoid | 1/(1+e⁻ˣ) | (0, 1) | 输出可解释为概率;平滑可导 | 两端梯度接近 0(梯度消失);输出不以 0 为中心;计算 exp 较慢 |
| Tanh | (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ) | (-1, 1) | 零中心化,比 Sigmoid 好 | 仍有梯度消失问题 |
| ReLU | max(0, x) | [0, +∞) | 计算极快;缓解梯度消失;稀疏激活 | 负区间梯度为 0("死神经元"问题) |
| Leaky ReLU | max(0.01x, x) | (-∞, +∞) | 解决死神经元问题 | 多了一个超参数 0.01 |
| GELU | x·Φ(x) | (-∞, +∞) | 比 ReLU 更平滑;Transformer 标配 | 计算稍慢 |
| Swish | x·σ(x) | (-∞, +∞) | Google 提出,效果略优于 ReLU | 计算稍慢 |
| Softmax | eˣⁱ/Σeˣʲ | (0, 1),和为 1 | 输出概率分布 | 仅用于输出层 |
ReLU 为什么好用?
ReLU 就像一个"单向阀门":
正数信号→畅通无阻(梯度=1,信号不衰减)
负数信号→直接关掉(梯度=0,信号被截断)
这种"稀疏激活"的特性让网络训练更快——就像大脑中只有部分神经元在工作,效率更高。
激活函数选择指南
隐藏层:默认用 ReLU。如果遇到"死神经元"问题,换 Leaky ReLU。
Transformer 模型:用 GELU。
输出层:二分类→Sigmoid;多分类→Softmax;回归→不加激活(线性输出)。
千万不要在隐藏层用 Sigmoid——梯度消失会让深层网络训练不动。
2.5 前向传播
前向传播(Forward Propagation)就是数据从输入层到输出层"流过"整个网络的过程。每经过一层,数据就被"加工"一次。
1
输入数据——比如一张 28×28 的手写数字图片,展平成 784 维的向量
2
第一层计算——z₁ = W₁·x + b₁,a₁ = ReLU(z₁)。把 784 维映射到 256 维
3
第二层计算——z₂ = W₂·a₁ + b₂,a₂ = ReLU(z₂)。把 256 维映射到 128 维
4
输出层计算——z₃ = W₃·a₂ + b₃,ŷ = Softmax(z₃)。把 128 维映射到 10 维(10 个数字的概率)
数学上,前向传播就是一系列的矩阵乘法 + 激活函数:
ŷ = Softmax(W₃ · ReLU(W₂ · ReLU(W₁·x + b₁) + b₂) + b₃)
矩阵乘法就是并行计算
如果你有 100 个样本,可以把它们堆成一个矩阵 X(形状 100×784),然后一次矩阵乘法 W₁·X 就同时处理了 100 个样本。这就是为什么 GPU(擅长矩阵运算)比 CPU 快那么多——它能同时进行成千上万个乘法。
2.6 损失函数
损失函数衡量模型的预测和真实答案之间的"差距"。训练的目标就是让损失函数尽可能小。
回归任务常用损失函数
| 损失函数 | 公式 | 特点 |
| 均方误差 MSE | (1/n)Σ(ŷ-y)² | 对大误差敏感(平方放大);最常用 |
| 平均绝对误差 MAE | (1/n)Σ|ŷ-y| | 对异常值更稳健 |
| Huber Loss | MSE 和 MAE 的结合 | 小误差用 MSE,大误差用 MAE |
分类任务常用损失函数
| 损失函数 | 公式 | 特点 |
| 二分类交叉熵 | -[y·log(ŷ) + (1-y)·log(1-ŷ)] | 预测错误时梯度大,训练快 |
| 多分类交叉熵 | -Σ yᵢ·log(ŷᵢ) | 多分类的标准损失函数 |
| Focal Loss | -α(1-ŷᵞ)·log(ŷ) | 解决类别不平衡问题 |
损失函数的直觉
损失函数就像"考试扣分规则":
MSE:错得越多扣分越多,而且错得越远扣分越猛(平方)。适合"不能有大偏差"的场景。
交叉熵:你越自信地给出错误答案,扣分越狠。如果你说"我 99% 确定是猫"但其实是狗,那惩罚极重。
为什么分类用交叉熵而不是 MSE?
假设真实标签是 1,模型预测 0.01(非常错误)。
MSE 的梯度 = 2(0.01-1)×0.01×(1-0.01) ≈ -0.02——梯度很小,训练慢。
交叉熵的梯度 = -1/0.01 = -100——梯度很大,训练快。
交叉熵在预测错误时给更大的"惩罚",推动模型更快地修正错误。
2.7 反向传播与梯度下降
反向传播(Backpropagation)是训练神经网络的核心算法。它回答了一个关键问题:每个参数该往哪个方向调整、调整多少?
训练的完整流程
2
计算损失——用损失函数算出 ŷ 和真实值 y 的差距 L
3
反向传播——用链式法则,从输出层往回算,算出每个参数的梯度 ∂L/∂w
4
更新参数——w = w - 学习率 × ∂L/∂w,沿梯度反方向走一小步
5
重复——用下一批数据回到第 1 步,重复几千到几百万次,直到损失收敛
反向传播的类比:追溯责任
想象一个工厂生产出了次品(损失大)。你要追溯原因:
最终产品有问题(输出层误差)→ 是因为第三道工序的参数不对(第三层梯度)→ 而那是因为第二道工序的材料有问题(第二层梯度)→ 而那是因为第一道工序的配方错了(第一层梯度)
反向传播做的就是这个"从后往前追溯责任"的过程。数学工具叫链式法则。
链式法则
如果 y = f(g(x)),那么 dy/dx = df/dg × dg/dx。
在神经网络中,损失 L 通过层层嵌套的函数依赖于每个参数。链式法则让我们能从最后一层开始,逐层往前算出每个参数的梯度。
直觉理解
梯度告诉你"如果把这个参数稍微调大一点,损失会变大还是变小、变多少"。
如果梯度是正的→调大参数会让损失变大→应该调小参数。
如果梯度是负的→调大参数会让损失变小→应该调大参数。
w = w - 学习率 × 梯度 就是这个"反方向调整"的数学表达。
2.8 计算图与自动微分
现代深度学习框架(PyTorch、TensorFlow)都用计算图和自动微分来实现反向传播。你不需要手动算梯度——框架会自动帮你完成。
什么是计算图?
计算图是把数学运算表示为"图"结构:节点是运算(加法、乘法、激活函数),边是数据流。
例如,计算 L = (w·x + b - y)² 的计算图:
4
节点 4:L = z₃²(平方)——得到最终损失
自动微分的原理
框架在做前向传播时,会同时记录每一步的运算。反向传播时,沿着计算图从后往前,用链式法则自动算出每个参数的梯度。
自动微分的类比
想象你按照菜谱做了一道菜(前向传播),结果很难吃(损失大)。自动微分就像一个"智能助手",它记录了你每一步用了什么食材、放了多少、火候多大,然后自动告诉你"如果少放点盐(调整参数),味道会好多少"。你不需要自己分析每一步的影响——助手帮你算好了。
PyTorch 的 Autograd
PyTorch 使用动态计算图(define-by-run)——每次前向传播时实时构建计算图。这意味着你可以用普通的 Python 控制流(if/for/while),调试也更方便。
requires_grad=True
在 PyTorch 中,只要给张量设置 requires_grad=True,框架就会自动追踪对它的所有运算。
调用 loss.backward() 后,所有 requires_grad=True 的张量的梯度会被自动计算并存储在 .grad 属性中。
这就是为什么 PyTorch 写起来像普通 Python——你只需要定义前向传播,反向传播全自动。
静态图 vs 动态图
| 动态图(PyTorch) | 静态图(TensorFlow 1.x) |
| 构建时机 | 运行时实时构建 | 先定义完整图,再执行 |
| 调试 | 方便,可以用 pdb 断点 | 困难,需要特殊工具 |
| 控制流 | 直接用 Python if/for | 需要特殊的 tf.cond/tf.while |
| 性能优化 | 较少优化空间 | 可以做全局优化 |
| 部署 | 需要 TorchScript 导出 | 直接导出 |
TensorFlow 2.x 已经转向动态图
TensorFlow 2.x 默认使用 Eager Mode(动态图),和 PyTorch 类似。静态图模式通过 @tf.function 装饰器按需启用。
现在两个框架的使用体验已经非常接近——选哪个主要看生态和个人偏好。
3. 训练神经网络的技巧
训练神经网络不只是"算梯度、更新参数"那么简单。有很多技巧能让训练更快、效果更好。这一章总结了最重要的实战经验。
3.1 优化器详解
梯度下降是最基本的优化算法,但有很多改进版本(优化器)能让训练更快更稳。
从 SGD 到 Adam 的演进
SGD
最基本的梯度下降——w = w - lr × grad。简单但收敛慢,容易卡在鞍点(某个方向是最低点,另一个方向不是)。
SGD + Momentum
加入"动量"——像球滚下山坡,有惯性。v = β·v + grad,w = w - lr × v。能冲过小的局部最优,加速收敛。
AdaGrad
自适应学习率——梯度大的参数学习率自动变小,梯度小的参数学习率自动变大。适合稀疏数据。但学习率会单调递减,后期可能太小。
RMSProp
修正 AdaGrad——用指数移动平均代替简单累加,解决了学习率衰减过快的问题。
Adam
Momentum + RMSProp 的结合——既用动量加速,又自适应调整学习率。默认 lr=0.001,大多数情况效果很好。目前最常用的优化器。
优化器选择建议
默认用 Adam(lr=0.001),大多数情况效果不错。
Transformer/BERT 微调:用 AdamW(Adam + 权重衰减解耦)。
追求最佳精度:SGD + Momentum + 学习率调度(很多 CV 竞赛冠军用这个)。
训练不稳定:试试降低学习率或增加梯度裁剪。
Adam 的工作原理
Adam 同时维护两个"移动平均":
- m(一阶矩):梯度的移动平均——类似 Momentum,记住"之前往哪个方向走"
- v(二阶矩):梯度平方的移动平均——衡量"这个参数的梯度有多不稳定"
更新规则:
m = β₁·m + (1-β₁)·grad(梯度方向的平滑估计)
v = β₂·v + (1-β₂)·grad²(梯度大小的平滑估计)
w = w - lr · m̂ / (√v̂ + ε)(自适应学习率更新)
直觉:如果某个参数的梯度一直很大(v 大),就自动降低它的学习率;如果梯度方向一直一致(m 大),就加大步子。这就是"自适应学习率"的含义。
Adam vs AdamW
标准 Adam 的权重衰减实现有问题——它把 L2 正则化和梯度更新混在一起了。AdamW 把权重衰减"解耦"出来,效果更好:
- Adam:
w = w - lr × (grad + λ·w)——权重衰减和自适应学习率混在一起
- AdamW:
w = w - lr × grad - lr×λ × w——权重衰减独立于梯度更新
训练 Transformer 模型时,一定要用 AdamW。
3.2 学习率调度
学习率是训练中最重要的超参数。太大会震荡不收敛,太小会训练太慢。学习率调度(Learning Rate Schedule)在训练过程中动态调整学习率。
常见调度策略
| 策略 | 做法 | 适用场景 |
| 阶梯衰减 | 每隔 N 个 epoch,学习率乘以 0.1 | 经典 CV 训练 |
| 余弦退火 | 学习率按余弦曲线从大到小变化 | 大多数场景,效果好 |
| Warmup + 衰减 | 前几百步线性增大,之后衰减 | Transformer 训练的标准做法 |
| OneCycleLR | 先增后减,一个 cycle 内完成 | 快速训练,super-convergence |
学习率范围测试(LR Range Test)
训练前先做一个测试:从极小的学习率(1e-7)开始,逐渐增大到很大(1),记录每个学习率对应的损失。
画出"学习率 vs 损失"曲线:损失下降最快的学习率范围就是最佳范围。
通常最佳学习率在损失下降最陡的那个点的左边一点。
3.3 权重初始化
训练前需要给网络的权重赋初始值。初始化方式选不好,网络可能训练不动。
为什么不能全设为 0?
如果所有权重都是 0,那每一层的所有神经元都会输出相同的值,反向传播时梯度也相同——所有神经元永远一样,相当于只有一个神经元。这叫"对称性问题"。
正确的初始化方法
| 方法 | 适用激活函数 | 原理 |
| Xavier / Glorot | Sigmoid、Tanh | 保持前向和反向传播中信号的方差不变 |
| He 初始化 | ReLU 及其变体 | 考虑了 ReLU 会"杀死"一半神经元的特性 |
| Kaiming 初始化 | ReLU 深层网络 | He 初始化的改进,适合非常深的网络 |
简单规则
用 ReLU 激活函数→He 初始化。
用 Sigmoid/Tanh→Xavier 初始化。
现代框架(PyTorch)默认用合理的初始化,一般不需要手动设置。
3.4 正则化技术
正则化是防止过拟合的一系列技术。过拟合就是模型"死记硬背"了训练数据,但对新数据效果很差。
Dropout
训练时随机"关闭"一部分神经元(以概率 p 设为 0),测试时全部开启但权重乘以 (1-p)。
- 为什么有效:相当于训练了很多不同的子网络,最后取平均。集成学习的思想。
- 典型值:p=0.2~0.5。太小没效果,太大欠拟合。
- 用在哪:通常加在全连接层之间。CNN 中也可以用但不常见。
Dropout 的类比
想象一个团队做项目。Dropout 相当于每天随机让几个人请假——这样每个人都必须学会独立完成工作,而不是过度依赖某个人。最终团队的每个人都很强,不会因为少了谁就崩溃。
L2 正则化(权重衰减)
在损失函数中加入权重的平方和作为惩罚项:L_total = L_data + λ·Σw²
- 效果:让权重趋向于小值,防止某个权重过大主导预测
- λ 的作用:λ 越大,惩罚越重,权重越小,模型越简单
早停(Early Stopping)
监控验证集的损失,如果连续 N 个 epoch 不下降就停止训练。
- 为什么有效:训练初期模型在学习真正的规律,后期开始记忆噪音。早停就是在"最佳时间点"停下来。
- patience:通常设 5~20。太小容易过早停止,太大浪费时间。
3.5 批归一化与层归一化
归一化技术让训练更快、更稳定。
Batch Normalization(批归一化)
在每一层的输入做标准化:减均值、除标准差,然后用可学习的参数 γ 和 β 做缩放和平移。
BN(x) = γ · (x - μ_batch) / √(σ²_batch + ε) + β
- 好处:加速训练(可以用更大的学习率)、稳定梯度、有轻微正则化效果
- 用在哪:CNN 中几乎必用,通常加在卷积层之后、激活函数之前
- 注意:训练和测试时行为不同——训练时用当前 batch 的统计量,测试时用训练时的移动平均
- 为什么 γ 和 β?:如果只做标准化,会限制网络的表达能力。γ 和 β 让网络可以"撤销"归一化——如果网络发现不需要归一化,它可以把 γ 学成 σ,β 学成 μ,恢复原始分布。
BatchNorm 的注意事项
batch size 太小效果差——batch size < 16 时,统计量估计不准。小 batch 用 GroupNorm 或 LayerNorm 代替。
不能和 Dropout 一起用——Dropout 改变了 batch 的统计量,会干扰 BatchNorm。通常二选一。
训练和推理不一致——训练时用 batch 统计量,推理时用移动平均。如果忘记切换(model.eval()),推理结果会出错。
Layer Normalization(层归一化)
和 BatchNorm 类似,但在特征维度上归一化,而不是在 batch 维度上。
- 好处:不依赖 batch size,适合序列模型
- 用在哪:Transformer、RNN 中的标准做法
| BatchNorm | LayerNorm |
| 归一化维度 | batch 维度(跨样本) | 特征维度(跨特征) |
| 依赖 batch size | 是(batch 太小效果差) | 否 |
| 适用模型 | CNN | Transformer、RNN |
| 训练/测试差异 | 有(需要 running mean) | 无 |
3.6 数据增强
数据增强通过对现有数据做变换来"创造"新的训练样本,是防止过拟合最有效的方法之一。
图像数据增强
- 几何变换:随机水平翻转(最常用)、随机旋转(±15°)、随机裁剪、随机缩放、平移
- 颜色变换:亮度、对比度、饱和度、色调随机调整。注意不要改变语义(如医学影像中的颜色可能有诊断意义)
- Mixup:把两张图片按比例混合:
x = λ·x₁ + (1-λ)·x₂,标签也按比例混合。有效减少过拟合。
- Cutout:随机遮挡图片中的一块区域(设为 0)。迫使模型不依赖单一特征。
- CutMix:用一张图的一块区域替换另一张图的对应区域,标签按面积比例混合。
- AutoAugment:用强化学习自动搜索最佳的数据增强策略。
数据增强的原则
增强后的数据必须仍然合理——把一张猫的图片旋转 180° 是合理的(猫可以倒着),但把数字 "6" 旋转 180° 就变成了 "9"——标签变了。
增强幅度要适当——太小没效果,太大会引入噪声。
只在训练集上增强——验证集和测试集不做增强,保持原始数据。
文本数据增强
- 同义词替换:随机把一些词换成同义词(用 WordNet 或中文同义词词典)
- 随机插入/删除:随机插入或删除一些非关键词
- 回译:翻译成另一种语言再翻译回来,会得到语义相同但表述不同的文本
- EDA(Easy Data Augmentation):综合使用同义词替换、随机插入、随机交换、随机删除
表格数据增强
- SMOTE:对少数类样本做插值,生成新的合成样本。解决类别不平衡问题。
- 添加噪声:给特征添加小的高斯噪声
- 特征交叉:把两个特征相乘或相除,创造新的特征
3.7 常见问题与解决方案
问题 1:梯度消失
症状:深层网络训练时,前面几层的权重几乎不更新。
原因:反向传播时梯度逐层连乘,如果每层梯度 < 1,连乘后趋近于 0。
解决:用 ReLU 激活函数、残差连接、BatchNorm、合理的权重初始化。
问题 2:梯度爆炸
症状:loss 突然变成 NaN 或者非常大的数。
原因:梯度太大,参数更新过猛。
解决:梯度裁剪(Gradient Clipping,限制梯度的最大范数)、降低学习率、权重衰减。
问题 3:过拟合
症状:训练集 loss 很低,验证集 loss 很高。
原因:模型太复杂或数据太少,模型"死记硬背"了训练数据。
解决:增加数据(数据增强)、加 Dropout、加正则化、减小模型、早停。
问题 4:欠拟合
症状:训练集和验证集的 loss 都很高。
原因:模型太简单,没学到数据的规律。
解决:增加模型复杂度(更多层/更多神经元)、降低正则化、训练更久、换更好的优化器。
问题 5:训练 loss 不下降
症状:loss 卡在一个值不动。
原因:学习率太小、权重初始化不对、数据有 bug、网络结构有问题。
解决:先检查数据是否正确→然后增大学习率→检查网络结构→检查损失函数。
3.8 深度学习调参清单
当你训练一个深度学习模型效果不好时,按以下顺序排查,从最简单、最常见的问题开始:
1
检查数据——数据是否正确加载?标签是否对齐?有没有数据泄露?先用极小的数据集(几十条)看模型能不能过拟合——如果连小数据都过拟合不了,说明模型或代码有 bug。
2
从简单模型开始——先用一个很小的网络(1-2 层)跑通整个流程,确认 loss 在下降、梯度正常。然后再逐步增大模型。
3
调学习率——这是最重要的超参数。做学习率扫描(从 1e-7 到 1),找到 loss 下降最快的范围。通常最佳学习率在 1e-4 到 1e-2 之间。
4
检查过拟合——如果训练 loss 很低但验证 loss 很高,按优先级尝试:增加数据→数据增强→加 Dropout→加权重衰减→减小模型→早停。
5
检查欠拟合——如果训练 loss 和验证 loss 都很高,按优先级尝试:增大模型→降低正则化→训练更久→换更好的优化器→检查数据质量。
6
精细调优——用余弦退火或 OneCycleLR 调度学习率;尝试不同的 batch size(32~256);用混合精度训练加速;做超参数搜索(Optuna)。
调参的黄金法则
一次只改一个东西——同时改学习率、batch size、网络结构,你不知道哪个改变起了作用。
先粗调再细调——先用大步长找到大致范围,再用小步长精细搜索。
记录每次实验——用 Weights & Biases 或 MLflow 记录每次的参数和结果。没有记录的调参就是浪费时间。
相信数据,不相信直觉——你觉得"应该"有效的改动,可能反而让效果变差。让实验数据说话。
超参数优先级排序
| 优先级 | 超参数 | 影响程度 | 建议范围 |
| 1(最高) | 学习率 | 极大 | 1e-5 ~ 1e-1,先做扫描 |
| 2 | Batch Size | 大 | 32~256,显存允许尽量大 |
| 3 | 网络深度 | 大 | 先浅后深,逐步增加 |
| 4 | Dropout 率 | 中 | 0.1~0.5 |
| 5 | 权重衰减 | 中 | 1e-5 ~ 1e-2 |
| 6 | 网络宽度 | 中 | 128~1024 |
| 7(最低) | 优化器选择 | 小~中 | Adam 默认即可 |
4. CNN 卷积神经网络
卷积神经网络(Convolutional Neural Network,CNN)是处理图像的"标配"。它通过局部感知 + 权重共享的巧妙设计,解决了全连接网络处理图像时参数爆炸的问题。
4.1 为什么需要 CNN?
一张 224×224 的彩色图片有 224×224×3 = 150,528 个像素。如果用全连接网络处理,假设第一个隐藏层有 1000 个神经元,那仅第一层就有 1.5 亿个参数——太多了,既慢又容易过拟合。
CNN 用两个关键思想解决这个问题:
- 局部连接:每个神经元只看一个小区域(如 3×3),不是看整张图。就像你看照片时,先看局部细节,再组合成整体理解。
- 权重共享:同一个滤波器在整张图上滑动使用。一个 3×3 的滤波器只有 9 个参数,但在整张图上提取相同的特征。大幅减少参数量。
一个类比
你在看一幅大画:
全连接网络 = 你需要同时记住画中每个像素的位置和颜色——信息量爆炸。
CNN = 你先用一个小放大镜看局部(卷积),找出边缘和纹理;然后退后一步看更大区域(池化),组合出形状和物体;最后站在远处看整幅画,理解整体内容。
4.2 卷积操作详解
卷积是 CNN 的核心操作。用一个小的"滤波器"(也叫卷积核,如 3×3)在图像上滑动,每个位置做点积,提取局部特征。
1
放置滤波器——把 3×3 的滤波器放在图像的左上角
2
逐元素相乘再求和——滤波器的 9 个值和对应的 9 个像素值相乘,然后加起来。得到输出特征图的一个值
3
滑动——把滤波器向右移动一个像素(步长=1),重复步骤 2
4
遍历整张图——从左到右、从上到下,滑过整张图像,得到完整的输出特征图
卷积的关键参数
- 滤波器大小:通常 3×3 或 5×5。越小参数越少,用更深的网络补偿。
- 步长(Stride):滤波器每次移动的像素数。步长=1 输出和输入差不多大,步长=2 输出尺寸减半。
- 填充(Padding):在图像边缘补零。"same"填充保持输出尺寸不变。
- 通道数:输入通道(如 RGB=3)× 输出通道(滤波器数量)。多个滤波器可以提取多种不同的特征。
输出尺寸计算
输出尺寸 = (输入尺寸 - 滤波器大小 + 2×填充) / 步长 + 1
例如:输入 32×32,滤波器 3×3,填充 1,步长 1 → 输出 = (32-3+2)/1+1 = 32×32(尺寸不变)。
一个滤波器学什么?
一个 3×3 的滤波器在训练过程中会自动学习识别某种特征:
有的滤波器学会检测水平边缘,有的学会检测垂直边缘,有的学会检测特定颜色。
多个滤波器就能提取多种特征,组合起来就能理解图像的内容。
4.3 池化层
池化(Pooling)的作用是压缩特征图的大小,减少计算量,同时增加一定的平移不变性(物体稍微移动不影响识别)。
两种主要池化
| 类型 | 做法 | 特点 |
| 最大池化(Max Pooling) | 取区域内的最大值 | 保留最显著的特征;最常用 |
| 平均池化(Average Pooling) | 取区域内的平均值 | 保留整体信息;常用于最后的全局池化 |
通常用 2×2 的池化窗口、步长为 2,这样特征图的长和宽都减半,参数量减少到原来的 1/4。
4.4 经典 CNN 架构
从 LeNet 到 EfficientNet,CNN 架构不断演进。了解这些经典架构有助于理解 CNN 的发展脉络。
| 网络 | 年份 | 深度 | 关键创新 | 意义 |
| LeNet-5 | 1998 | 5 层 | 卷积+池化+全连接的基本结构 | CNN 的开山之作,用于手写数字识别 |
| AlexNet | 2012 | 8 层 | ReLU、Dropout、GPU 训练、数据增强 | ImageNet 冠军,引爆深度学习革命 |
| VGGNet | 2014 | 16/19 层 | 只用 3×3 小卷积核堆叠 | 证明了"深度"很重要 |
| GoogLeNet | 2014 | 22 层 | Inception 模块(多尺度并行卷积) | 用更少参数达到更好效果 |
| ResNet | 2015 | 50/101/152 层 | 残差连接(跳跃连接) | 解决了深层网络退化问题,里程碑 |
| DenseNet | 2017 | 121/169 层 | 密集连接(每层连接所有前面的层) | 特征复用,参数更少 |
| EfficientNet | 2019 | 可变 | 同时优化深度、宽度、分辨率 | 效率和精度的最佳平衡 |
| Vision Transformer | 2020 | 可变 | 把图像切成 patch,用 Transformer 处理 | 证明 Transformer 也能做 CV |
4.5 残差连接
ResNet 的核心创新——残差连接(Residual Connection)——解决了深层网络训练困难的问题,是深度学习最重要的技术之一。
深层网络的问题
当网络层数增加到一定程度时,训练误差反而会增大——不是过拟合(验证误差也增大),而是网络变得更难训练了。这叫"退化问题"。
这很反直觉:理论上更深的网络应该至少不比浅网络差(多出来的层可以学成恒等映射)。但实际上,优化器很难学到恒等映射——残差连接让这件事变得容易。
退化问题 vs 过拟合
过拟合:训练误差低,验证误差高——模型太复杂。
退化:训练误差和验证误差都高——模型太深,优化困难。
如果加深网络后训练误差反而增大了,那就是退化问题,不是过拟合。加更多正则化没用,需要残差连接。
残差连接的做法
不是让网络直接学习完整的映射 H(x),而是学习"残差" F(x) = H(x) - x:
输出 = F(x) + x
也就是说,信息可以"跳过"某些层直接传递。如果某一层不需要做任何变换,网络只需要把 F(x) 学成 0 就行——比学习恒等映射 H(x)=x 容易得多。
残差连接的类比
你在一个很长的流水线上工作。如果每个环节都必须完美传递信息,到最后一环信息可能已经丢失了。
残差连接就像在流水线上加了"直通通道"——即使某个环节出了问题,信息也能直接传到后面。这让信息在深层网络中不会"消失"。
残差连接的影响
残差连接让训练几百层甚至上千层的网络成为可能。它不仅用于 CNN,还广泛用于 Transformer、U-Net 等几乎所有现代深度学习架构中。可以说,没有残差连接,就没有今天的大模型。
4.6 CNN 设计原则
设计 CNN 架构时,有一些经过实践验证的设计原则:
感受野(Receptive Field)
每个输出像素"看到"的输入区域大小。浅层神经元的感受野小(只看局部),深层神经元的感受野大(看全局)。
- 3×3 卷积堆叠两层的感受野 = 5×5,堆叠三层 = 7×7
- 用多个小卷积核(3×3)代替大卷积核(7×7),参数更少、非线性更强
- VGGNet 证明了这个原则:全部用 3×3 卷积核堆叠
通道数的变化规律
- 随着层数加深,空间尺寸减小(通过池化或步长卷积),通道数增加
- 典型模式:64 → 128 → 256 → 512
- 空间小了但通道多了,总计算量大致不变
现代 CNN 的常见组件
Conv
卷积层——提取特征。通常用 3×3 卷积核,padding="same"保持尺寸。
BN
批归一化——加速训练、稳定梯度。加在卷积之后、激活之前。
ReLU
激活函数——引入非线性。默认用 ReLU。
Pool
池化层——降低空间尺寸。用 2×2 MaxPool 或步长=2 的卷积代替。
Residual
残差连接——让信息跳层传递。深层网络必备。
实用设计建议
不要一开始就设计复杂架构——先用 ResNet-18 或 ResNet-34 预训练模型微调,效果通常比自己设计的好。
3×3 卷积是万能的——除非你有特殊需求,否则用 3×3 卷积核就够了。
步长卷积代替池化——现代架构倾向于用 stride=2 的卷积代替 MaxPool,效果相当但更简洁。
深度 > 宽度——增加层数通常比增加每层的通道数更有效。
4.7 CNN 的实际应用
图像分类
给一张图片打上类别标签(猫、狗、汽车……)。经典流程:卷积层提取特征 → 全连接层分类。
目标检测
找出图片中物体的位置和类别。代表算法:
- YOLO(You Only Look Once):把检测问题变成回归问题,一次前向传播同时预测位置和类别。速度极快(实时),适合自动驾驶、安防监控。YOLOv8 是当前最新版本。
- Faster R-CNN:两阶段方法——先用 RPN(区域提议网络)找出可能有物体的区域,再对每个区域做分类和回归。精度高但速度较慢。
- DETR:用 Transformer 做目标检测,不需要锚框和 NMS。架构简洁但需要大量数据训练。
语义分割
对每个像素做分类——"这个像素属于天空、地面还是人?"
- FCN(全卷积网络):把分类网络的全连接层换成卷积层,输出和输入等大的分割图
- U-Net:编码器-解码器结构 + 跳跃连接。医学影像分割的经典架构,在小数据集上效果很好
- DeepLab:用空洞卷积(Atrous Convolution)扩大感受野,用 CRF 做后处理
实例分割
在语义分割的基础上,区分同一类别的不同个体——"这是第一个人,那是第二个人"。
- Mask R-CNN:在 Faster R-CNN 基础上加一个分割分支,同时做检测和分割
- SAM(Segment Anything):Meta 的通用分割模型,给一个点/框提示就能分割任意物体
风格迁移
把一张图片的内容和另一张图片的风格结合。比如把你的照片变成"梵高风格"。
核心思想:用预训练的 CNN(如 VGG-19)提取内容特征和风格特征(Gram 矩阵),然后优化生成图片让它同时匹配内容和风格。
图像生成
从随机噪声或文本描述生成图片。核心技术从 GAN 演进到扩散模型:
- StyleGAN:生成超逼真的人脸,支持风格控制
- Stable Diffusion:文本到图片生成,开源可本地运行
- DALL-E / Midjourney:商业级图像生成服务
5. RNN 与序列模型
处理有"先后顺序"的数据——文本、语音、时间序列、股票价格。CNN 假设输入是固定大小且无序的,但序列数据的长度可变且顺序很重要。
5.1 RNN 基本原理
循环神经网络(Recurrent Neural Network,RNN)的核心思想:每个时间步的输出不仅取决于当前输入,还取决于之前的"隐藏状态"(记忆)。
1
时间步 1——输入"我",隐藏状态 h₁ = f("我")
2
时间步 2——输入"爱",隐藏状态 h₂ = f("爱", h₁)。h₂ 同时包含了"我"和"爱"的信息
3
时间步 3——输入"中国",隐藏状态 h₃ = f("中国", h₂)。h₃ 包含了"我爱中国"的完整信息
数学公式:hₜ = tanh(Wₓₕ·xₜ + Wₕₕ·hₜ₋₁ + b)
RNN 的类比:读书
RNN 像你读一本书:每读一个字,你会结合前面的内容来理解。
读到"我"→你知道主语是"我"
读到"爱"→你知道"我"在做"爱"这个动作
读到"中国"→你理解了"我爱中国"这个完整句子
隐藏状态 hₜ 就是你的"当前理解",它随着阅读不断更新。
5.2 梯度消失与梯度爆炸
RNN 有一个严重的问题:记不住长距离的信息。
为什么?
反向传播时,梯度需要在时间步之间连乘。假设每个时间步的梯度是 0.9:
- 10 个时间步后:0.9¹⁰ ≈ 0.35(还可以)
- 50 个时间步后:0.9⁵⁰ ≈ 0.005(几乎消失了)
- 100 个时间步后:0.9¹⁰⁰ ≈ 0.00003(完全消失了)
这意味着远距离的信息梯度接近 0,参数无法更新——RNN "忘掉"了早期的信息。
梯度消失的类比:传话游戏
10 个人玩传话游戏,每个人只能听到前一个人说的话。
第 1 个人说"今天天气很好"→经过 10 个人的传递→第 10 个人可能听到"今天吃了西瓜"。
信息在传递过程中不断衰减和失真——这就是梯度消失。
LSTM 的解决方案:给每个人一本笔记本(细胞状态),重要的信息直接写在笔记本上传递,不会因为传话而丢失。
梯度爆炸的解决
梯度爆炸相对好解决:梯度裁剪(Gradient Clipping)——如果梯度的范数超过某个阈值,就按比例缩小。
if ||grad|| > threshold: grad = threshold × grad / ||grad||
梯度消失更难解决——LSTM 和 GRU 就是为了解决这个问题而设计的。
5.3 LSTM 详解
LSTM(Long Short-Term Memory,长短期记忆网络)通过精心设计的"门控机制"解决了梯度消失问题,是序列模型中最重要的架构之一。
LSTM 的核心组件
遗忘门
决定丢弃哪些旧信息——f = σ(W·[hₜ₋₁, xₜ])。输出 0~1 之间的值。0 = 完全遗忘,1 = 完全保留。就像橡皮擦,擦掉不重要的旧记忆。
输入门
决定存储哪些新信息——i = σ(W·[hₜ₋₁, xₜ])。同时生成候选新信息 C̃ = tanh(W·[hₜ₋₁, xₜ])。就像用笔写下新的重要笔记。
细胞状态更新
更新长期记忆——Cₜ = f⊙Cₜ₋₁ + i⊙C̃。旧记忆 × 遗忘门 + 新信息 × 输入门。细胞状态是"高速公路",信息可以无损地传递很远。
输出门
决定输出哪些信息——o = σ(W·[hₜ₋₁, xₜ]),hₜ = o⊙tanh(Cₜ)。从细胞状态中选出当前需要的信息输出。
LSTM 的类比:智能笔记本
细胞状态 C = 一本笔记本(可以长期保存信息)
遗忘门 = 橡皮擦(擦掉过时的笔记)
输入门 = 笔(写下新的重要信息)
输出门 = 你决定现在要看笔记本上的哪些内容
关键是笔记本(细胞状态)的更新是"加法"而不是"乘法"——信息不会在传递过程中衰减,这就是 LSTM 能记住长距离信息的秘密。
LSTM 为什么能解决梯度消失?
关键在于细胞状态的更新方式是加法而不是乘法:
- RNN:hₜ = tanh(W·hₜ₋₁ + ...) —— 每一步都乘以一个矩阵,梯度连乘后趋近于 0
- LSTM:Cₜ = f⊙Cₜ₋₁ + i⊙C̃ —— 细胞状态通过"加法"更新,遗忘门 f 控制保留多少旧信息
当遗忘门 f ≈ 1 时,细胞状态几乎不变——信息可以无损地传递很远。梯度也可以通过这条"高速公路"无损地回传,不会消失。
LSTM 的实际使用建议
序列长度 < 100:LSTM 和 GRU 效果差不多,用 GRU 更快。
序列长度 100~500:LSTM 通常更好,因为它有独立的细胞状态。
序列长度 > 500:考虑用 Transformer,RNN 在超长序列上效果有限。
双向 LSTM:如果任务不需要实时生成(如文本分类),用双向 LSTM 效果更好。
5.4 GRU 详解
GRU(Gated Recurrent Unit)是 LSTM 的简化版,只有两个门,参数更少,训练更快。
重置门
决定如何组合新输入和旧记忆——r = σ(W·[hₜ₋₁, xₜ])。如果 r≈0,忽略旧记忆,只看新输入。
更新门
决定保留多少旧信息、接受多少新信息——z = σ(W·[hₜ₋₁, xₜ])。如果 z≈1,保留旧记忆;z≈0,用新信息替换。
| LSTM | GRU |
| 门的数量 | 3 个(遗忘、输入、输出) | 2 个(重置、更新) |
| 参数量 | 较多 | 较少(约 LSTM 的 75%) |
| 训练速度 | 较慢 | 较快 |
| 效果 | 长序列通常更好 | 短序列效果相当 |
| 选择建议 | 数据充足、序列较长 | 数据有限、需要快速实验 |
5.5 双向 RNN 与编码器-解码器
双向 RNN
同时从前往后和从后往前读序列,把两个方向的隐藏状态拼接。这样每个位置都能看到完整的上下文。
比如理解"苹果很好吃"中的"苹果"——从前往后读你不知道是水果还是公司,但从后往前看到"好吃"就能确定是水果。
编码器-解码器(Seq2Seq)
处理"输入和输出长度不同"的任务,如机器翻译("我爱你" → "I love you")。
- 编码器:把输入序列压缩成一个固定长度的向量(上下文向量)
- 解码器:从这个向量生成输出序列
瓶颈:整个输入序列的信息被压缩到一个固定长度的向量中,信息会丢失。Transformer 的注意力机制就是为了解决这个问题。
5.6 Seq2Seq 与注意力机制
标准的编码器-解码器模型有一个致命瓶颈:编码器把整个输入压缩成一个固定长度的向量。当输入序列很长时,这个向量无法承载所有信息。
注意力机制的解决方案
注意力机制让解码器在生成每个输出时,都能"回头看"编码器的所有隐藏状态,并根据相关性分配不同的权重。
1
编码器处理输入序列,输出每个时间步的隐藏状态 h₁, h₂, ..., hₙ
2
解码器生成第 t 个输出时,计算当前隐藏状态 sₜ 和所有编码器隐藏状态 hᵢ 的"相关性分数"
3
加权求和——用 Softmax 归一化分数,得到注意力权重 αᵢ。然后对编码器隐藏状态加权求和:cₜ = Σ αᵢ·hᵢ。这个 cₜ 叫"上下文向量"。
4
生成输出——解码器用上下文向量 cₜ 和当前隐藏状态 sₜ 一起预测下一个词
注意力的类比:翻译时的"回头看"
你在翻译"我爱中国"为英文时:
生成 "I" 时→回头看"我",给它最大的注意力权重
生成 "love" 时→回头看"爱",给它最大的注意力权重
生成 "China" 时→回头看"中国",给它最大的注意力权重
不需要把整句话的信息压缩到一个向量里——每次生成时直接"查阅原文"。
从 Seq2Seq 注意力到 Transformer
Seq2Seq 的注意力是"编码器-解码器注意力"——解码器去看编码器的输出。
Transformer 把这个思想推广了:
自注意力(Self-Attention)——让序列中的每个位置都能看到其他所有位置。
多头注意力(Multi-Head Attention)——同时用多组 Q、K、V 关注不同的关系。
Transformer 用自注意力完全替代了 RNN,实现了更好的并行化和更强的表达能力。
6. Transformer 与注意力机制
2017 年 Google 论文《Attention is All You Need》提出的 Transformer 彻底改变了深度学习。它是 GPT、BERT、Claude、LLaMA 等所有现代大模型的基础,可以说是过去十年最重要的技术突破。
6.1 注意力机制的直觉
注意力机制的核心思想:让模型在处理每个位置时,能"看到"序列中的其他所有位置,并根据"相关性"分配不同的关注程度。
一个类比:看一段话
当你读到"它"这个代词时,你的大脑会自动"回头看",找到"它"指代的是什么——比如前面提到的"猫"。
注意力机制做的就是同样的事:让"它"去"注意"前面的"猫",获得"猫"的信息,从而理解"它"指的是谁。
6.2 自注意力计算过程
自注意力(Self-Attention)的计算可以用"图书馆找书"来理解:
1
生成 Q、K、V——每个输入向量 x 通过三个不同的线性变换得到 Q(查询)、K(键)、V(值)三个向量。
Q = 你的问题("我想找关于机器学习的书")
K = 每本书的标签("计算机"、"历史"、"烹饪"……)
V = 每本书的实际内容
2
计算注意力分数——score = Q·Kᵀ / √dₖ
用 Q 去匹配所有 K,点积越大说明越相关。除以 √dₖ 是为了防止分数过大导致 Softmax 饱和。
为什么要除以 √dₖ?假设 Q 和 K 的每个元素都是均值为 0、方差为 1 的随机变量,那 Q·Kᵀ 的方差就是 dₖ。dₖ 越大,点积值越大,Softmax 的输出越接近 one-hot(梯度趋近于 0)。除以 √dₖ 把方差归一化到 1,让 Softmax 工作在梯度合理的区域。
3
Softmax 归一化——把分数转换成概率分布(所有权重之和 = 1)。
最相关的书得到最大的权重。
4
加权求和——output = softmax(score) × V
用注意力权重对 V 加权求和,得到每个位置的新表示。新表示融合了整个序列的信息。
为什么 Q、K、V 要分开?
如果直接用输入向量 x 做点积,那"找相关性"和"提取信息"用的是同一套参数,表达能力有限。
分成 Q、K、V 后,"用什么来找"(Q)和"被怎么找到"(K)以及"提供什么信息"(V)可以各自学习,灵活性大大增强。
6.3 多头注意力
单个注意力头只能关注一种类型的关系。多头注意力(Multi-Head Attention)同时用多组(通常 8 或 16 组)Q、K、V,每组叫一个"注意力头"。
不同的头可以关注不同的方面:
- 有的头关注语法关系(主语-谓语、动词-宾语)
- 有的头关注语义相似性("猫"和"它"的指代关系)
- 有的头关注位置关系(相邻的词、距离较远的词)
最后把所有头的输出拼接起来,再做一次线性变换。
6.4 Transformer 完整架构
Transformer 由编码器和解码器两部分组成:
编码器(Encoder)
每一层包含:
1
多头自注意力——让每个位置都能看到整个序列的信息
2
残差连接 + 层归一化——LayerNorm(x + Attention(x))
3
前馈网络(FFN)——两层全连接网络,对每个位置独立处理。先扩大维度(如 768→3072),再缩回来。
4
残差连接 + 层归一化——LayerNorm(x + FFN(x))
编码器重复 N 层(BERT-base 用 12 层,BERT-large 用 24 层)。
前馈网络(FFN)的作用
自注意力负责"看其他位置的信息",而前馈网络负责"对每个位置的信息做非线性变换"。FFN 通常是一个"先扩大再缩小"的两层网络:
FFN(x) = ReLU(x·W₁ + b₁)·W₂ + b₂
- 输入维度 d_model(如 768)→ 中间维度 d_ff(如 3072,通常是 4 倍)→ 输出维度 d_model
- 先扩大维度(增加表达能力),再缩小回来
- 每个位置独立处理(不看其他位置),所以叫"逐位置"(position-wise)
残差连接的重要性
Transformer 的每一层都有残差连接:LayerNorm(x + Sublayer(x))
- 让梯度可以直接回传到前面的层,解决深层网络的训练困难
- 让模型可以"选择不做任何变换"——如果某一层不需要,残差路径直接传递信息
- 没有残差连接,训练几十层的 Transformer 几乎不可能
解码器(Decoder)
和编码器类似,但有两个关键区别:
- 因果掩码(Causal Mask):自注意力时,每个位置只能看到它之前的位置,不能"偷看"后面的字。用一个上三角掩码把后面的位置遮住。
- 编码器-解码器注意力:解码器的每一层还会"看"编码器的输出,从中提取输入序列的信息。
编码器 vs 解码器模型
仅编码器(BERT):双向注意力,适合理解文本(分类、搜索、问答)。
仅解码器(GPT、Claude):因果注意力,适合生成文本(对话、写作、编程)。
编码器-解码器(T5、BART):适合序列到序列的任务(翻译、摘要)。
当前大模型主流是仅解码器架构。
6.5 位置编码
Transformer 的自注意力是"无序"的——它不知道词的先后顺序。位置编码(Positional Encoding)给每个位置加上一个独特的"位置信号"。
原始位置编码
用正弦和余弦函数生成:
PE(pos, 2i) = sin(pos / 10000^(2i/d))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d))
旋转位置编码(RoPE)
现代大模型(LLaMA、Qwen 等)常用 RoPE(Rotary Position Embedding)。它的核心思想:把位置信息编码为向量的旋转角度。
- 位置 m 的向量旋转 mθ 角度,位置 n 的向量旋转 nθ 角度
- 两个位置的点积只依赖于它们的相对距离 m-n,而不是绝对位置
- 有良好的外推性——训练时最长 4096,推理时可以扩展到 32K 甚至更长
可学习位置编码
BERT 和 GPT-2 用可学习的位置编码——每个位置有一个可训练的向量。简单但不能外推(超过训练长度就无法处理)。
ALiBi(Attention with Linear Biases)
不给输入加位置编码,而是在注意力分数上加一个和距离成正比的偏置。距离越远,偏置越负,注意力权重越小。简单有效,外推性好。
位置编码对比
| 方法 | 外推性 | 计算开销 | 代表模型 |
| 正弦编码 | 中等 | 无额外开销 | 原始 Transformer |
| 可学习编码 | 差(不能外推) | 增加参数 | BERT、GPT-2 |
| RoPE | 好(配合 NTK 缩放) | 少量额外计算 | LLaMA、Qwen、Mistral |
| ALiBi | 好 | 极小 | BLOOM、MPT |
6.6 为什么 Transformer 是革命性的
| 对比 | RNN / LSTM | Transformer |
| 长距离依赖 | 信息需要逐步传递,容易丢失 | 每个位置直接看到所有位置 |
| 并行计算 | 必须按顺序处理,无法并行 | 所有位置同时计算,充分利用 GPU |
| 训练速度 | 慢(序列越长越慢) | 快(但注意力复杂度是 O(n²)) |
| 可解释性 | 隐状态难以解释 | 注意力权重可视化,可解释 |
| 扩展性 | 难以扩展到很大规模 | 可以扩展到数千亿参数 |
Transformer 为什么能训练那么大的模型?
两个关键原因:
1. 并行化:自注意力可以一次算出所有位置的关系,GPU 利用率极高。
2. 可扩展性:增加层数、增加注意力头数、增加隐藏维度,效果稳定提升。这叫"Scaling Law"——模型越大、数据越多、训练越久,效果就越好。
6.7 Transformer 变体:GPT、BERT、T5
Transformer 的原始架构包含编码器和解码器两部分。后续的研究者根据不同的任务需求,发展出了三种主要变体:
BERT(仅编码器)
BERT(Bidirectional Encoder Representations from Transformers)只用 Transformer 的编码器部分,使用双向注意力——每个位置都能看到所有其他位置。
BERT 的预训练任务
- 掩码语言模型(MLM):随机遮住 15% 的词,让模型预测被遮住的词。就像"完形填空"。
- 下一句预测(NSP):判断两个句子是否是连续的。
BERT 擅长什么?
BERT 擅长理解文本——分类、搜索、问答、情感分析。因为它能同时看到前后的上下文。
BERT 不擅长生成——因为它不是为生成设计的。要生成文本,用 GPT。
GPT(仅解码器)
GPT(Generative Pre-trained Transformer)只用 Transformer 的解码器部分,使用因果注意力——每个位置只能看到它之前的词。
GPT 的预训练任务
- 下一个词预测:给定前面的所有词,预测下一个词。这就是 GPT 的全部预训练目标——简单但强大。
GPT 为什么能做那么多事?
GPT 的训练目标是"预测下一个词",但为了做好这个任务,它必须学会:
语法(知道什么词搭配合理)→ 语义(理解词的含义)→ 推理(根据上下文推断)→ 世界知识(知道事实)→ 代码(理解编程语言的规律)
"预测下一个词"看似简单,实际上是一个极其强大的通用学习目标。
T5(编码器-解码器)
T5(Text-to-Text Transfer Transformer)把所有任务都统一成"文本到文本"的格式:
- 翻译:"translate English to French: I love you" → "Je t'aime"
- 摘要:"summarize: 长文章..." → "短摘要"
- 分类:"sentiment: 这个电影很好看" → "positive"
三种变体对比
| BERT | GPT | T5 |
| 架构 | 仅编码器 | 仅解码器 | 编码器-解码器 |
| 注意力类型 | 双向 | 因果(单向) | 编码器双向 + 解码器因果 |
| 预训练任务 | 掩码语言模型 | 下一个词预测 | Span corruption |
| 擅长任务 | 理解(分类、搜索、问答) | 生成(对话、写作、编程) | 通用(所有 NLP 任务) |
| 代表模型 | BERT、RoBERTa、DeBERTa | GPT、LLaMA、Claude | T5、Flan-T5、BART |
| 当前主流程度 | ★★★(搜索/分类仍在用) | ★★★★★(大模型主流) | ★★★(特定任务好用) |
6.8 Transformer 的计算开销与优化
自注意力的计算复杂度是 O(n²)——序列长度翻倍,计算量翻四倍。这在处理长文档时成为瓶颈。
注意力的计算量分析
- 自注意力:每个位置要和所有位置做点积 → O(n²×d),n 是序列长度,d 是维度
- 前馈网络:每个位置独立处理 → O(n×d²)
- 当 n < d 时,前馈网络是瓶颈;当 n > d 时,注意力是瓶颈
长序列优化方法
| 方法 | 原理 | 复杂度 | 代表模型 |
| FlashAttention | 优化 GPU 内存访问模式,减少 HBM 读写 | O(n²) 但常数小很多 | 大多数现代模型 |
| 稀疏注意力 | 只计算部分位置对的注意力 | O(n√n) 或 O(n log n) | Longformer、BigBird |
| 线性注意力 | 用核函数近似 Softmax | O(n) | Linear Transformer |
| 滑动窗口 | 每个位置只看附近的窗口 | O(n×w) | Mistral |
| 分组查询注意力 | 多个查询头共享一组 K、V | 减少 KV Cache | LLaMA 2、Mistral |
FlashAttention:必知必会
FlashAttention 是 2022 年最重要的 Transformer 优化之一。它不改变注意力的数学计算,只是优化了 GPU 的内存读写顺序,就能让注意力计算快 2~4 倍,同时支持更长的序列。
现在几乎所有主流框架都内置了 FlashAttention。如果你在训练 Transformer 模型,一定要开启它。
7. 生成模型
前面讲的都是"判别模型"——给定输入,预测输出。生成模型则相反:它学习数据的分布,能生成新的、看起来像真实数据的样本。AI 绘画、AI 写作、AI 作曲的背后都是生成模型。
7.1 自编码器与 VAE
自编码器(Autoencoder)
把输入"压缩"成一个低维向量(编码),再从这个向量"还原"回原始输入(解码)。
- 编码器:输入 → 压缩 → 低维向量(潜在表示)
- 解码器:低维向量 → 还原 → 输出
- 训练目标:让输出尽可能等于输入
中间的低维向量就是数据的"精华"——它被迫用更少的信息来表示原始数据。
变分自编码器(VAE)
VAE 在自编码器基础上加入了概率约束:编码器不是输出一个固定的向量,而是输出一个均值 μ 和方差 σ²,然后从这个分布中采样得到潜在向量 z。
VAE 的训练目标
VAE 的损失函数有两部分:
- 重建损失:让解码器的输出尽可能接近原始输入(和普通自编码器一样)
- KL 散度:让潜在分布尽可能接近标准正态分布 N(0,1)。这保证了潜在空间的"规整性"
损失 = 重建损失 + β · KL(q(z|x) || N(0,1))
这样做的好处:潜在空间是连续的、平滑的。你可以在这个空间中"插值"——在两张脸之间生成过渡的脸。也可以从标准正态分布中随机采样,解码成新的图片。
VAE 的类比:漫画家的速写本
编码器 = 漫画家看一眼模特,快速画一个简笔画(压缩成潜在向量)
解码器 = 根据简笔画还原出完整的画作
KL 散度 = 要求简笔画的风格统一(不能太随意),这样随便画一个简笔画也能还原出合理的画作
普通自编码器的简笔画可能很"奇怪"(不规整),VAE 的简笔画一定在"正常范围"内。
7.2 生成对抗网络 GAN
GAN(Generative Adversarial Network)是 2014 年 Goodfellow 提出的开创性工作。它通过两个网络的"对抗"来学习生成数据。
两个角色
生成器 G
造假者——从随机噪声生成假图片,目标是骗过判别器
判别器 D
鉴别者——判断一张图片是真实的还是生成器造的假图
3
判别器更新——如果判断错了,惩罚判别器,让它下次更准
4
生成器更新——如果被判别器识破了,惩罚生成器,让它下次生成得更逼真
GAN 的类比:造假币者与警察
生成器 = 造假币者,不断提高伪造技术
判别器 = 警察,不断提高鉴别能力
两者互相竞争、共同进步。最终,造假币者的技术好到连警察都分辨不出真假——这时生成器就能生成以假乱真的图片了。
GAN 的经典变体
| 变体 | 改进 | 应用 |
| DCGAN | 用 CNN 替代全连接网络 | 稳定了 GAN 的训练 |
| WGAN | 用 Wasserstein 距离替代 JS 散度 | 解决了训练不稳定和模式崩塌 |
| StyleGAN | 风格注入、渐进式生成 | 生成超逼真的人脸 |
| CycleGAN | 不需要配对数据的风格迁移 | 马↔斑马、照片↔油画 |
| Pix2Pix | 条件 GAN,成对数据 | 线稿→彩色图、白天→夜晚 |
7.3 扩散模型 Diffusion
扩散模型(Diffusion Model)是当前最火的图像生成技术,Stable Diffusion、DALL-E、Midjourney 都基于它。
核心思想
1
正向过程(加噪声)——逐步给清晰图片添加噪声,经过 T 步后变成纯噪声。就像一滴墨水在水中扩散,最终整杯水都变黑。
2
训练去噪模型——训练一个神经网络,学习"在给定的噪声程度下,如何去除噪声"。输入:带噪声的图片 + 噪声程度;输出:预测的噪声。
3
反向过程(生成)——从纯噪声开始,用训练好的去噪模型一步步去除噪声,最终生成清晰的图片。就像把墨水从水中一步步"吸"出来。
为什么扩散模型比 GAN 好?
训练稳定:GAN 需要两个网络对抗训练,经常不稳定(模式崩塌、训练振荡)。扩散模型只需要训练一个去噪网络,训练目标简单明确。
生成质量:扩散模型生成的图片质量通常比 GAN 更好、更多样。
可控性:可以通过文本提示(Prompt)精确控制生成内容。
扩散模型的数学直觉
正向过程:给原始图片 x₀ 逐步加高斯噪声:
xₜ = √(αₜ) · xₜ₋₁ + √(1-αₜ) · ε,其中 ε ~ N(0, I)
经过 T 步后(T 通常 1000~4000),xₜ 几乎变成纯噪声。
反向过程:训练一个神经网络 εθ 来预测每一步加的噪声:
损失 = ||ε - εθ(xₜ, t)||²
生成时:从纯噪声 xₜ 开始,用训练好的模型逐步去噪:
xₜ₋₁ = (1/√αₜ)(xₜ - (1-αₜ)/√(1-ᾱₜ) · εθ(xₜ, t)) + 噪声
Stable Diffusion 的工作原理
Stable Diffusion 不是在原始像素空间做扩散,而是在潜在空间(Latent Space)做,大幅减少了计算量:
1
编码——用 VAE 的编码器把图片压缩到潜在空间(如 64×64×4,比原始 512×512×3 小很多)
2
扩散——在潜在空间中做扩散和去噪(计算量大大减少)
3
条件控制——用 CLIP 把文本提示转换成向量,注入到 U-Net 的去噪过程中
4
解码——用 VAE 的解码器把潜在表示还原成图片
7.4 Flow 模型
归一化流(Normalizing Flow)是一种精确的生成模型。它通过一系列可逆变换把简单的分布(如高斯分布)变成复杂的数据分布。
核心思想
- 从简单的分布(如标准正态分布)采样一个点 z
- 通过一系列可逆函数 f₁, f₂, ..., fₖ 把 z 变成数据点 x
- 因为每个变换都是可逆的,所以可以精确计算数据的概率
Flow 模型的类比
想象你有一块橡皮泥(简单的分布)。Flow 模型就是一系列可逆的揉捏操作——拉伸、旋转、挤压。最终橡皮泥变成了你想要的形状(复杂的数据分布)。因为每一步都是可逆的,你可以随时"撤销"回去。
代表模型
- RealNVP:用仿射变换实现可逆映射
- Glow:OpenAI 的图像生成模型,质量很高但计算量大
Flow 模型的优缺点
| 优点 | 缺点 |
| 可以精确计算概率(不像 GAN 和 VAE 只能近似) | 需要可逆变换,限制了网络架构设计 |
| 训练稳定(不像 GAN 需要对抗训练) | 生成质量通常不如扩散模型 |
| 可以做精确的似然估计 | 计算量较大 |
7.5 生成模型对比
| VAE | GAN | 扩散模型 |
| 训练稳定性 | 稳定 | 不稳定 | 稳定 |
| 生成质量 | 较模糊 | 清晰但可能模式崩塌 | 最清晰 |
| 生成速度 | 快(一次前向) | 快(一次前向) | 慢(需要多步去噪) |
| 多样性 | 好 | 可能模式崩塌 | 最好 |
| 可控性 | 中等 | 中等 | 最好(支持文本控制) |
| 代表应用 | 图像压缩、异常检测 | 人脸生成、风格迁移 | Stable Diffusion、DALL-E |
7.6 GAN 训练技巧与常见问题
GAN 的训练是出了名的困难。以下是最常见的问题和解决方案:
模式崩塌(Mode Collapse)
症状:生成器只生成几种相似的图片,缺乏多样性。比如训练生成人脸,结果所有生成的人脸都长一样。
原因:生成器找到了一个能骗过判别器的"捷径",就一直用这个捷径。
解决:用 WGAN(Wasserstein 距离)、Mini-batch Discrimination、Unrolled GAN。
训练不稳定
症状:loss 震荡不收敛,生成质量忽好忽坏。
解决:
- 谱归一化(Spectral Normalization):限制判别器的 Lipschitz 常数
- Two Time-Scale Update Rule:判别器和生成器用不同的学习率
- 渐进式训练:从低分辨率(4×4)开始,逐步增加到高分辨率(1024×1024)
判别器太强/太弱
- 判别器太强:生成器得不到有用的梯度信号。解决:给判别器加 Dropout、降低判别器学习率
- 判别器太弱:生成器轻易骗过判别器,学不到好的生成能力。解决:增强判别器(更多层、更多通道)
GAN 训练的黄金法则
1. 判别器和生成器要平衡——不能让一方太强。通常判别器训练 k 次(k=1~5),生成器训练 1 次。
2. 用 WGAN-GP——Wasserstein 距离 + 梯度惩罚,比原始 GAN 稳定得多。
3. 监控 FID 分数——不要只看 loss,用 FID(Fréchet Inception Distance)衡量生成质量。
4. 渐进式训练——从低分辨率开始,逐步增加。StyleGAN 就是这么做的。
8. 预训练大模型时代
2018 年以来,深度学习进入了"大模型时代"。核心范式:先在海量数据上预训练一个通用模型,再在具体任务上微调。这种方法的效果远超从头训练。
8.1 预训练与微调范式
预训练的类比
预训练 = 从小学到大学的通识教育。学语文、数学、物理、历史……什么都知道一点,但什么都不精。
微调 = 研究生阶段的专业训练。选了一个方向(比如医学影像),专门学习这个领域的知识。
一个刚预训练完的模型,就像一个什么都懂一点的大学毕业生。微调让它变成某个领域的专家。
为什么预训练有效?
- 知识迁移:在大规模数据上学到的通用知识(语法、语义、世界知识)可以迁移到下游任务
- 数据效率:下游任务只需要少量标注数据就能达到很好的效果
- 计算效率:预训练一次,可以微调用于无数个下游任务
微调方法
| 方法 | 做法 | 优点 | 缺点 |
| 全参数微调 | 调整模型所有参数 | 效果最好 | 成本最高,需要大量 GPU 显存 |
| LoRA | 冻结原始参数,只训练低秩分解的 A 和 B 矩阵 | 成本低、效果接近全参数 | 需要选择秩 r |
| QLoRA | 在 LoRA 基础上把原始模型量化到 4 位 | 一张消费级显卡就能微调 70B 模型 | 量化有精度损失 |
| Prompt Tuning | 只优化输入的提示词向量 | 参数极少 | 效果有限 |
8.2 大语言模型(LLM)
大语言模型是深度学习最引人注目的成就。它们能理解和生成自然语言,甚至能写代码、做数学题、进行推理。
主要模型
| 模型 | 公司 | 特点 |
| GPT 系列 | OpenAI | GPT-3(1750 亿参数)→ ChatGPT → GPT-4。擅长生成和推理 |
| Claude | Anthropic | 注重安全和有帮助,支持超长上下文(200K tokens) |
| LLaMA | Meta | 开源大模型,社区活跃 |
| Qwen(通义千问) | 阿里巴巴 | 中文能力强,开源 |
| DeepSeek | 深度求索 | 性价比高,推理能力强 |
Scaling Law(缩放定律)
OpenAI 在 2020 年发现了一个惊人的规律:模型的性能和三个因素呈幂律关系:
- 模型大小(参数量 N):N 翻倍,损失下降固定比例
- 数据量(token 数 D):D 翻倍,损失下降固定比例
- 计算量(FLOPs C):C 翻倍,损失下降固定比例
这意味着只要持续增加模型大小、数据量和计算量,模型性能就会持续提升——没有明显的天花板。这就是为什么大模型越做越大。
LLM 的核心能力
- 涌现能力:模型大到一定程度后,突然出现小模型没有的能力(如思维链推理、代码生成、数学证明)。这些能力在小模型中完全不存在,大到某个阈值后突然出现。
- In-Context Learning:不需要微调,只在提示中给出几个例子,模型就能学会新任务。这很神奇——模型的参数没有变,但行为变了。
- 思维链(Chain of Thought):让模型"一步步思考",显著提升推理能力。比如"小明有 5 个苹果,给了小红 2 个,又买了 3 个,现在有几个?"——如果模型直接回答可能错,但让它一步步算就容易对了。
- 指令遵循:经过 RLHF 训练后,模型能很好地理解和遵循用户的指令,而不仅仅是"续写文本"。
LLM 的局限
- 幻觉:模型会自信地编造不存在的事实。它不是在"撒谎",而是统计上最可能的下一个词恰好是错的。
- 知识截止:模型的知识来自训练数据,不知道训练截止日期之后发生的事。
- 推理能力有限:对于复杂的多步推理、数学证明等任务,纯 LLM 仍然不够可靠。
- 上下文长度限制:虽然现在支持 128K~200K tokens,但超长文本中模型对中间内容的"注意力"会下降(Lost in the Middle 问题)。
RLHF(基于人类反馈的强化学习)
预训练的 LLM 只是"预测下一个词",它不知道什么是"好的回答"。RLHF 让模型学会人类的偏好——不只是"正确",还要"有帮助、无害、诚实"。
ChatGPT 就是用 RLHF 训练出来的:
2
收集偏好数据——模型生成多个回答,人类标注员排序哪个更好
4
PPO 训练——用奖励模型作为"裁判",用 PPO 算法优化 LLM 的回答策略
8.3 视觉大模型
Vision Transformer(ViT)
把图像切成 16×16 的小块(patch),每个 patch 当作一个"词",然后用 Transformer 处理。证明了 Transformer 在 CV 领域也能超越 CNN。
ViT 的工作流程
1
切块——把 224×224 的图片切成 14×14 = 196 个 16×16 的 patch
2
线性嵌入——每个 patch 展平后通过一个线性层,映射成 D 维向量(如 768 维)
3
加上位置编码——给每个 patch 加上位置信息
4
Transformer 编码器——经过 12 层 Transformer 编码器处理
5
分类——取 [CLS] token 的输出,通过分类头得到类别
ViT vs CNN
数据量小:CNN 更好(归纳偏置强,数据效率高)
数据量大:ViT 更好(全局注意力,表达能力强)
混合方法:先用 CNN 提取特征,再用 Transformer 处理。很多现代架构(如 Swin Transformer)结合了两者的优势。
CLIP
同时训练一个图像编码器和一个文本编码器,让匹配的图文对在向量空间中距离更近。可以实现"用文字搜索图片"或"用图片搜索文字"。
SAM(Segment Anything Model)
Meta 提出的通用分割模型。给一张图片和一个点/框提示,SAM 就能分割出目标物体。在超过 10 亿个掩码上训练,泛化能力极强。
8.4 多模态模型
同时处理文本、图像、音频等多种数据的模型。
- GPT-4V / GPT-4o:既能看图又能回答问题,还能听语音
- CLIP:连接图像和文本的桥梁
- LLaVA:开源的视觉语言模型
- Sora:文本生成视频的模型
8.5 提示工程(Prompt Engineering)
提示工程是和大语言模型交互的"艺术"——通过精心设计提示词,让模型输出更好的结果。在不需要微调模型的场景下,提示工程是最实用的技巧。
基本技巧
明确指令
告诉模型你想要什么——"请用 3 个要点总结以下文章"比"总结一下"好得多。越具体,结果越好。
角色设定
给模型一个角色——"你是一个资深的 Python 开发者,请审查以下代码"比直接贴代码效果好。角色设定会影响模型的语气、深度和关注点。
Few-Shot
给出几个示例——在提示中给出 2~5 个输入-输出的例子,模型会模仿这些例子的格式和风格。这叫 In-Context Learning。
思维链
让模型一步步思考——在提示中加"让我们一步步思考"(Let's think step by step),显著提升推理任务的准确率。
进阶技巧
- 输出格式控制:指定输出格式为 JSON、Markdown 表格、代码块等
- 约束条件:明确告诉模型不要做什么("不要编造信息"、"如果不确定请说不知道")
- 分步指令:把复杂任务拆成多个步骤,逐步引导模型
- 自我反思:让模型检查自己的回答("请检查你的回答是否有错误")
8.6 RAG 检索增强生成
RAG(Retrieval-Augmented Generation)让 LLM 能结合外部知识库回答问题,解决了 LLM 的两个核心问题:知识过时和幻觉。
RAG 的完整流程
1
知识库构建——把文档(PDF、网页、数据库)切分成小段,用 Embedding 模型把每段转换成向量,存入向量数据库(如 FAISS、Milvus、Chroma)
2
检索——用户提问时,把问题也转换成向量,在向量数据库中找到最相似的 Top-K 个文档段落
3
增强——把检索到的文档段落作为上下文,和用户的问题一起组成 Prompt
4
生成——LLM 基于检索到的文档生成回答。回答有据可查,减少幻觉
RAG 的优势
知识实时更新——更新知识库即可,不需要重新训练模型。
减少幻觉——模型基于检索到的真实文档回答,不是凭空编造。
可追溯——可以指出回答来自哪个文档,方便验证。
保护隐私——私有数据存在自己的向量数据库中,不需要发给第三方。
8.7 AI Agent
AI Agent 是当前 AI 最前沿的方向。它不只是回答问题,而是自主规划、执行、调整来完成复杂任务。
Agent 的核心组件
大模型
大脑——负责理解任务、制定计划、做出决策。GPT-4、Claude 等。
工具
手脚——搜索引擎、代码执行器、API 调用、文件读写等。Agent 通过调用工具来执行具体操作。
记忆
长期记忆——记住之前的对话、学到的知识、用户的偏好。通常用向量数据库实现。
规划
任务分解——把复杂任务拆成子任务,制定执行计划,遇到错误时调整计划。
Agent 的类比:实习生 vs 搜索引擎
搜索引擎:你问它问题,它给你一堆链接,你自己去读、去判断。
AI Agent:你告诉它"帮我调研一下竞品的定价策略,写一份报告",它自己去搜索、阅读、分析、写报告,遇到不确定的地方还会追问你。就像一个能自主工作的实习生。
9. 深度学习框架实战
理论学完了,怎么动手?这一章介绍深度学习框架的使用和模型训练的完整流程。
9.1 PyTorch 快速上手
PyTorch 是当前最流行的深度学习框架,以其灵活性和易用性著称。它的核心概念:
Tensor(张量)
PyTorch 的基本数据结构,和 NumPy 的 ndarray 类似,但可以在 GPU 上运行。
Autograd(自动求导)
PyTorch 自动帮你算梯度。你只需要定义前向传播,反向传播自动完成。
nn.Module
定义网络结构的基类。继承它,实现 forward() 方法就行。
PyTorch 的优势
动态图:代码怎么写,计算图就怎么建。方便调试,可以用 Python 的标准控制流(if/for)。
Pythonic:写起来就像写普通 Python 代码。
社区活跃:大多数新论文都先发布 PyTorch 代码。
生态完善:Hugging Face、torchvision、torchaudio 等丰富的库。
9.2 模型训练完整流程
1
准备数据——加载数据集、做预处理、划分训练/验证/测试集、创建 DataLoader(自动分 batch、打乱顺序)
2
定义模型——继承 nn.Module,定义网络层和前向传播逻辑
3
选择损失函数和优化器——分类用 CrossEntropyLoss,回归用 MSELoss;优化器通常选 Adam
4
训练循环——对每个 batch:前向传播→计算损失→反向传播→更新参数
5
验证与调优——每个 epoch 结束后在验证集上评估,监控是否过拟合
6
测试与部署——在测试集上最终评估,保存模型,部署上线
9.3 GPU 加速与分布式训练
为什么需要 GPU?
深度学习的核心计算是矩阵乘法。GPU 有几千个小型计算核心,能同时进行大量并行计算。一块 GPU 的训练速度可能是 CPU 的 10~100 倍。
单 GPU 训练
把模型和数据都移到 GPU 上:model.to('cuda'),data.to('cuda')。
多 GPU 训练
- DataParallel:最简单的方式,把数据分到多个 GPU 上,每个 GPU 计算一部分,然后汇总。但效率不高。
- DistributedDataParallel(DDP):更高效的方式,每个进程独立运行,通过通信同步梯度。是多 GPU 训练的标准做法。
混合精度训练
用 FP16(半精度浮点数)代替 FP32(单精度)进行计算。好处:显存占用减半,计算速度提升 2~3 倍,精度损失很小。
9.4 模型部署入门
模型导出
- TorchScript:PyTorch 原生序列化,可以在 C++ 中运行
- ONNX:开放的模型交换格式,可以在不同框架间转换
- TensorRT:NVIDIA 的推理优化引擎,大幅提升推理速度
部署方式
- REST API:用 FastAPI/Flask 搭建服务,用户发 HTTP 请求获取预测结果
- 边缘部署:把模型部署到手机、IoT 设备上。需要量化(INT8/INT4)和剪枝。
- 云服务:用 AWS SageMaker、Google Vertex AI 等云平台部署
模型压缩
- 量化:FP32 → INT8,模型大小减少 4 倍,推理速度提升 2~4 倍。精度损失通常很小(< 1%)。GPTQ、AWQ 是 LLM 量化的常用方法。
- 剪枝:去掉不重要的权重(接近 0 的)。可以去掉 90% 的参数而精度几乎不变。分为非结构化剪枝(单个权重)和结构化剪枝(整个通道/层)。
- 知识蒸馏:用大模型(教师)的输出作为"软标签"来训练小模型(学生)。小模型不仅学真实标签,还学教师模型的"知识"——因为软标签包含了类别之间的关系信息。
推理优化
- KV Cache:Transformer 生成时缓存之前计算过的 K、V,避免重复计算。是 LLM 推理的关键优化。
- 批处理:同时处理多个请求,提高 GPU 利用率
- 投机解码:用小模型快速生成候选 token,大模型验证。速度提升 2~3 倍。
- vLLM:高效的 LLM 推理引擎,支持 PagedAttention,显存利用率极高。
9.5 实战项目指南
学深度学习最重要的环节是做项目。以下是几个由浅入深的实战项目,每个项目都包含完整的技术栈:
项目 1:图像分类(入门级)
1
数据集——CIFAR-10(10 类彩色图片,6 万张)或猫狗分类数据集
2
模型——先用简单的 CNN(3~5 层卷积),再尝试 ResNet-18
3
技术点——数据增强、学习率调度、早停、混淆矩阵分析
4
进阶——用预训练的 ResNet-50 微调,对比从头训练的效果
项目 2:文本情感分析(中级)
1
数据集——IMDB 电影评论(2.5 万条正面 + 2.5 万条负面)或中文外卖评论
2
模型——先用 LSTM/GRU,再用 BERT 微调
3
技术点——文本预处理、词嵌入、预训练模型加载、Tokenization
4
进阶——对比不同模型(LSTM vs BERT vs RoBERTa)的效果差异
项目 3:目标检测(高级)
1
数据集——Pascal VOC 或 COCO 的子集
2
模型——YOLOv5 或 YOLOv8(开箱即用,效果好)
3
技术点——数据标注、锚框、NMS(非极大值抑制)、mAP 评估
4
进阶——用自己的数据训练一个"检测特定物体"的模型
项目 4:大模型微调(前沿级)
1
基座模型——LLaMA 3 8B 或 Qwen 7B(开源)
2
微调方法——用 LoRA/QLoRA 微调,消费级显卡(RTX 3090/4090)即可
3
数据准备——收集"指令-回答"对,格式化为 Alpaca/ShareGPT 格式
4
工具——LLaMA-Factory、Axolotl(一站式微调框架)
项目学习法
不要等到"学完所有知识"再做项目——边做边学效率最高。
每个项目都应该做到:
1. 跑通 baseline(先让模型工作)
2. 分析错误(看哪些样本预测错了,为什么)
3. 迭代改进(调参、换模型、加数据增强)
4. 写实验报告(记录每次实验的结果和心得)
一个做完的项目比十个只看不做的教程更有价值。
10. 学习路线与资源
10.1 分阶段学习路线
第一阶段:基础(第 1-4 周)
1
Python 基础——变量、函数、类、列表推导式、文件操作。如果已经会 Python,跳过。推荐:Python 官方教程 或 廖雪峰 Python 教程。
2
NumPy 与 Pandas——矩阵运算、数据处理。这是深度学习的"基础语言"。推荐:NumPy 100 题练习。
3
数学基础——线性代数(矩阵乘法、特征值)、微积分(偏导数、链式法则)、概率论(贝叶斯、分布)。不需要精通,理解直觉即可。推荐:3Blue1Brown《线性代数的本质》和《微积分的本质》。
第二阶段:机器学习入门(第 5-8 周)
1
经典算法——用 Scikit-learn 实现线性回归、逻辑回归、决策树、随机森林、SVM。重点理解每个算法的原理和适用场景。
2
模型评估——交叉验证、混淆矩阵、精确率/召回率/F1、AUC-ROC。理解过拟合和欠拟合。
3
推荐课程——吴恩达《机器学习》(Coursera)或《机器学习》(周志华·西瓜书)。
第三阶段:深度学习核心(第 9-16 周)
1
神经网络基础——用 PyTorch 实现全连接网络、CNN、RNN。理解反向传播、优化器、正则化。
2
核心架构——深入理解 CNN(ResNet)、RNN(LSTM)、Transformer。每个架构都用代码实现一遍。
3
推荐资源——《动手学深度学习》(d2l.ai)强烈推荐,有代码有讲解有练习。
第四阶段:前沿方向(第 17+ 周)
1
选择方向——NLP(Transformer、LLM、RAG)、CV(检测、分割、生成)、多模态、强化学习。
2
做项目——参加 Kaggle 比赛、用 Hugging Face 微调模型、做一个完整的作品集。
3
读论文——从综述论文开始,逐步读具体方法的论文。不需要全读,读摘要+结论+图表。
10.2 推荐学习资源
| 类型 | 资源 | 说明 |
| 入门课程 | 吴恩达《机器学习》(Coursera) | 经典入门课,通俗易懂,数学要求低 |
| 深度学习 | 吴恩达《深度学习专项课程》 | 系统讲解深度学习,5 门课 |
| 深度学习 | 《动手学深度学习》(d2l.ai) | 有代码有讲解,交互式,强烈推荐 |
| 经典教材 | 《深度学习》(花书,Goodfellow) | 深度学习的"圣经",偏理论 |
| 经典教材 | 《机器学习》(周志华·西瓜书) | 覆盖面广,适合中文读者 |
| NLP | Hugging Face NLP 课程 | 免费,从基础到 Transformer |
| 视频 | 3Blue1Brown 系列 | 用动画讲数学和神经网络,直觉极好 |
| 实战 | Kaggle 竞赛 | 真实数据、真实问题、排行榜激励 |
| 论文 | arXiv + Papers With Code | 最新论文 + 代码实现 |
常用工具速查
| 工具 | 用途 |
PyTorch | 深度学习框架,当前最流行,灵活易用 |
Hugging Face | 预训练模型库,NLP/CV 模型一站式 |
Scikit-learn | 经典机器学习算法 |
NumPy / Pandas | 数值计算与数据处理 |
Matplotlib / Seaborn | 数据可视化 |
Weights & Biases | 实验跟踪与可视化 |
Optuna | 超参数调优(贝叶斯优化) |
Docker | 模型部署容器化 |
ONNX / TensorRT | 模型导出与推理加速 |
10.3 实战项目推荐
以下是按难度排序的实战项目推荐,每个项目都标注了涉及的技术点:
| 难度 | 项目 | 技术栈 | 学习收获 |
| ★☆☆☆☆ | MNIST 手写数字识别 | 全连接网络、PyTorch 基础 | 理解训练流程 |
| ★★☆☆☆ | CIFAR-10 图像分类 | CNN、数据增强、学习率调度 | 掌握 CNN 设计 |
| ★★★☆☆ | 电影评论情感分析 | LSTM/BERT、词嵌入、Hugging Face | NLP 入门 |
| ★★★☆☆ | 目标检测(YOLO) | YOLOv5/v8、数据标注、mAP | CV 进阶 |
| ★★★★☆ | 图像风格迁移 | 预训练 VGG、Gram 矩阵、损失函数设计 | 理解特征提取 |
| ★★★★☆ | 文本生成(GPT 微调) | LoRA 微调、Hugging Face、Tokenization | 大模型实战 |
| ★★★★★ | RAG 知识问答系统 | Embedding、向量数据库、LLM、LangChain | Agent 开发 |
| ★★★★★ | Stable Diffusion 微调 | 扩散模型、LoRA、图像生成 | 生成模型实战 |
Kaggle 竞赛推荐
入门:Titanic 生存预测(表格数据)、Digit Recognizer(图像分类)
中级:Dog vs Cat(图像分类)、NLP Disaster Tweets(文本分类)
高级:Cassava Leaf Disease(图像分类)、Feedback Prize(NLP)
Kaggle 的好处:真实数据、排行榜激励、社区讨论、免费 GPU(Kaggle Notebook)。
10.4 给初学者的建议
15 条实用建议
- 先跑通再理解——先用 PyTorch 官方教程跑一个模型,再深入理解原理
- 动手比看书重要——每学一个概念,就用代码实现一遍
- 从简单开始——先用全连接网络做 MNIST,再上 CNN、Transformer
- 数据比模型重要——花 80% 时间在数据上,20% 在模型上
- 做项目比做题好——参加 Kaggle 比赛,或用真实数据解决真实问题
- 不要死磕数学——先理解直觉,遇到问题再回来推公式
- 学会读论文——不需要全读,读摘要+结论+图表就够了
- 用好 Hugging Face——不要从头训练大模型,站在巨人肩膀上微调
- 关注工程能力——模型再好,部署不了也是白搭
- 加入社区——Kaggle、GitHub、知乎、Reddit 的 ML 社区
- 保持更新——AI 领域发展极快,每周花几小时看最新进展
- 不要 GPU 焦虑——Google Colab、Kaggle Notebook 都提供免费 GPU,足够入门学习
- 一次只改一个超参数——同时改学习率和 batch size,你不知道哪个起了作用
- 记录每次实验——用 W&B 或 MLflow 记录参数和结果。没有记录的调参就是浪费时间
- 先复现再创新——先复现一篇论文的结果,理解它的方法,再尝试改进
深度学习的本质是:用多层神经网络自动学习数据的层次化表示,从简单特征到复杂模式,逐层递进。
深度学习完整指南 · 从入门到精通的详细教程 · 2026
仅供学习与参考