深度学习完整指南

从最基础的神经元开始,一步步理解 CNN、RNN、Transformer,直到掌握大模型时代的核心技术

涵盖 10 大章节 · 40+ 子节 · 从零基础到大模型实战的完整知识体系 · 2026

1. 什么是深度学习?

深度学习(Deep Learning)是机器学习的一个分支,它用多层神经网络来学习数据的复杂模式。如果说机器学习是"让机器从数据中找规律",那深度学习就是"用更强大的工具找更复杂的规律"。

深度学习之所以火,是因为它在很多任务上超越了传统方法——图像识别、语音识别、自然语言理解、游戏 AI、科学发现……几乎所有 AI 领域的突破性进展背后都有深度学习的身影。

一个类比

传统机器学习像是"用计算器算账"——你需要人工告诉它用哪些数字、怎么算。
深度学习像是"给一个实习生一堆财务报表,让他自己摸索出怎么看账"——你不需要告诉他每一步怎么做,他自己会从数据中学会。

1.1 深度学习 vs 传统机器学习

传统机器学习深度学习
特征工程需要人工设计特征(很费时)自动学习特征(端到端)
数据需求小数据也能用(几千条)需要大量数据(几万到几亿)
计算需求CPU 就够需要 GPU/TPU
可解释性较好(决策树、线性回归)较差(黑箱)
适用数据结构化数据(表格)非结构化数据(图像、文本、音频)
模型复杂度相对简单参数可达数十亿
典型算法SVM、随机森林、XGBoostCNN、RNN、Transformer
什么时候用深度学习? 用深度学习:数据量大、数据是非结构化的(图像/文本/音频)、任务复杂、有 GPU。
用传统 ML:数据量小、数据是表格形式、需要可解释性、计算资源有限。
不要盲目追求深度学习——在表格数据上,XGBoost 经常比深度学习更好用。

1.2 为什么叫"深度"学习?

"深度"指的是神经网络的层数多。层数越多,网络能学到的特征越抽象。

第 1 层
边缘检测——学会识别图片中的边缘、线条、颜色变化。就像你看画时最先注意到的轮廓。
第 2 层
纹理检测——把边缘组合成纹理,如毛发、砖块、天空。开始理解"这个区域是什么材质"。
第 3 层
部件检测——把纹理组合成部件,如眼睛、轮子、窗户。开始理解"这个东西由什么组成"。
第 4 层
物体识别——把部件组合成完整的物体,如人脸、汽车、房子。最终理解"这是什么"。
一个类比

看一幅画的过程:
你先看到线条和颜色(低级特征)→ 然后注意到纹理和形状(中级特征)→ 接着认出眼睛、鼻子(高级特征)→ 最后认出这是一张人脸(语义理解)。
深度学习的每一层就像你大脑中处理视觉信息的一个"阶段",越深层理解越抽象。

1.3 深度学习的历史

1
1943-1969:萌芽期——McCulloch 和 Pitts 提出人工神经元模型(1943);Rosenblatt 发明感知机(1958),能做简单分类;Minsky 证明感知机连"异或"都学不了(1969),AI 进入第一次寒冬。
2
1986-1998:反向传播时代——Rumelhart 等人重新发现反向传播算法(1986),让多层网络的训练成为可能;LeCun 用 CNN 做手写数字识别(1998),但受限于计算能力和数据量。
3
2006-2011:深度学习复兴——Hinton 提出深度信念网络和逐层预训练(2006),证明深层网络可以训练;GPU 开始用于深度学习计算。
4
2012:引爆点——AlexNet 在 ImageNet 竞赛中碾压传统方法(错误率从 26% 降到 15%),深度学习正式登上历史舞台。三大因素同时具备:大数据(ImageNet)、大算力(GPU)、好算法(ReLU、Dropout)。
5
2017-至今:Transformer 与大模型时代——Transformer 架构诞生(2017),BERT(2018)、GPT-2(2019)、GPT-3(2020)、ChatGPT(2022)、GPT-4(2023)相继问世。AI 从"能用"变成"好用",开始改变每个行业。

1.4 深度学习能做什么

领域具体应用核心技术
计算机视觉人脸识别、自动驾驶、医学影像诊断、图片搜索CNN、ViT、YOLO
自然语言处理机器翻译、智能客服、文本摘要、代码生成Transformer、LLM
语音语音识别、语音合成、语音克隆Wav2Vec、TTS
生成式 AIAI 绘画、AI 写作、AI 作曲、视频生成Diffusion、GPT
游戏与决策围棋 AI、星际争霸 AI、机器人控制强化学习、PPO
科学研究蛋白质结构预测、药物发现、天气预报AlphaFold、GNN

1.5 端到端学习(End-to-End Learning)

深度学习最大的优势之一是端到端学习——从原始输入直接到最终输出,中间不需要人工干预。

传统方法 vs 端到端方法

1
传统方法(以语音识别为例)——原始音频 → 人工提取 MFCC 特征 → 声学模型 → 音素序列 → 语言模型 → 文字。每个环节都需要人工设计,误差会逐层累积。
2
端到端方法——原始音频 → 深度神经网络 → 文字。一个模型搞定一切,自动学习所有中间表示。
一个类比

传统方法像是"流水线工厂"——每个工人只负责一道工序,需要有人设计整个流水线的流程。
端到端方法像是"全自动机器人"——你只需要告诉它"输入是什么、输出应该是什么",它自己学会中间所有步骤。

端到端学习的例子

任务传统方法(多阶段)端到端方法
图像分类手工提取 HOG/SIFT 特征 → SVM 分类图片 → CNN → 类别
语音识别MFCC 特征 → 声学模型 → 语言模型音频波形 → Wav2Vec → 文字
机器翻译词法分析 → 句法分析 → 翻译规则 → 生成源语言文本 → Transformer → 目标语言文本
自动驾驶物体检测 → 跟踪 → 路径规划 → 控制传感器数据 → 神经网络 → 方向盘/油门
端到端学习的条件 端到端学习需要大量标注数据。数据越多,模型越能自动学到好的中间表示。如果数据不够,人工设计的特征可能更好——这就是为什么在小数据场景下,传统机器学习仍然有优势。

端到端不一定是最好的——有时候把任务拆成几个阶段,每个阶段单独优化,效果更好。比如自动驾驶通常不会完全端到端,而是分感知、预测、规划三个模块。工程上的可解释性和可调试性也很重要。

1.6 深度学习的三要素

深度学习的成功依赖于三个关键要素,缺一不可:

数据
海量高质量数据——深度学习是"数据饥渴型"的。模型越大,需要的数据越多。数据的质量比数量更重要——"Garbage in, garbage out"。ImageNet(1400 万张标注图片)的出现是深度学习爆发的关键推动力。
算力
强大的计算资源——GPU/TPU 提供了大规模并行计算能力。一块 NVIDIA A100 GPU 的算力相当于几千个 CPU 核心。没有 GPU,训练一个大模型可能需要几年;有了 GPU,几天就够了。
算法
好的模型架构和训练方法——ReLU 解决了梯度消失、BatchNorm 加速了训练、残差连接让深层网络成为可能、Transformer 实现了大规模并行、Adam 优化器让调参更简单。每一个算法突破都推动了整个领域前进。
三要素缺一不可 有数据没算力→训练不动(1990s 的困境)
有算力没数据→模型学不到东西(小公司的困境)
有数据有算力没好算法→效果上不去(2012 年之前的困境)
2012 年三者同时具备,深度学习才真正爆发。

2. 神经网络:从零开始理解

这一章从最基础的概念开始,一步步带你理解神经网络是怎么工作的。不需要任何前置知识,我会用大量的类比让你建立直觉。

2.1 生物神经元与人工神经元

人工神经网络的灵感来自人类大脑。大脑有约 860 亿个神经元,每个神经元通过"突触"与其他神经元连接,形成一个庞大的网络。

生物神经元的工作方式

人工神经元

人工神经元模仿了这个过程:

一个类比

想象你在决定要不要出门:
输入:天气好不好(x₁)、朋友有没有空(x₂)、作业做完了没(x₃)
权重:你有多在意天气(w₁)、有多想见朋友(w₂)、有多怕作业没做完(w₃)
加权求和:综合考虑所有因素,算出一个"出门意愿分数"
激活函数:如果分数超过某个阈值→出门;否则→待在家

2.2 感知机:最简单的神经网络

感知机(Perceptron)只有一个神经元,是最简单的神经网络。它能做"二分类"——把数据分成两类。

感知机的结构

输出 = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

其中 f 是阶跃函数:如果 z > 0,输出 1;否则输出 0。

1
接收输入——比如一个学生的成绩:数学 90 分、语文 60 分、英语 80 分
2
加权求和——z = 0.5×90 + 0.3×60 + 0.2×80 + b = 45+18+16+b = 79+b
3
激活判断——如果 z > 阈值(比如 70),预测"及格";否则"不及格"
感知机的致命缺陷 1969 年,Minsky 证明了感知机连"异或"(XOR)都学不了。异或的意思是:两个输入相同→输出 0,不同→输出 1。这个问题线性不可分——你画一条直线无法把"相同"和"不同"分开。
这个发现让 AI 进入了长达十几年的寒冬。解决方案?叠加多层——这就是多层感知机。

2.3 多层感知机(MLP)

多层感知机就是在输入和输出之间加了"隐藏层"。有了隐藏层,网络就能学习非线性的复杂模式。

结构

工厂流水线的类比

把神经网络想象成一个工厂流水线:
原材料(输入)→ 第一道工序(隐藏层 1):粗加工,提取简单特征 → 第二道工序(隐藏层 2):精加工,组合成复杂特征 → 第三道工序(隐藏层 3):最终加工 → 成品(输出)
每道工序都在上一步的基础上加工,越到后面产品越精细。

万能近似定理

一个非常重要的理论结果:只要隐藏层有足够多的神经元,单隐藏层的前馈网络可以近似任何连续函数。

这意味着神经网络理论上可以学习任何输入到输出的映射。但"理论上能"不代表"实践中好训练"——更深的网络通常比更宽的浅层网络更高效。

2.4 激活函数全解

激活函数是神经网络的"灵魂"。如果没有激活函数,无论叠多少层,整个网络都等价于一个线性变换——无法学习任何复杂模式。

为什么需要非线性? 没有激活函数时:y = W₃(W₂(W₁x + b₁) + b₂) + b₃ = W'x + b'——还是线性函数!
加上激活函数后:y = f₃(W₃·f₂(W₂·f₁(W₁x + b₁) + b₂) + b₃)——变成了非线性函数,能拟合任意复杂的曲线。

常见激活函数详解

函数公式输出范围优点缺点
Sigmoid1/(1+e⁻ˣ)(0, 1)输出可解释为概率;平滑可导两端梯度接近 0(梯度消失);输出不以 0 为中心;计算 exp 较慢
Tanh(eˣ-e⁻ˣ)/(eˣ+e⁻ˣ)(-1, 1)零中心化,比 Sigmoid 好仍有梯度消失问题
ReLUmax(0, x)[0, +∞)计算极快;缓解梯度消失;稀疏激活负区间梯度为 0("死神经元"问题)
Leaky ReLUmax(0.01x, x)(-∞, +∞)解决死神经元问题多了一个超参数 0.01
GELUx·Φ(x)(-∞, +∞)比 ReLU 更平滑;Transformer 标配计算稍慢
Swishx·σ(x)(-∞, +∞)Google 提出,效果略优于 ReLU计算稍慢
Softmaxeˣⁱ/Σeˣʲ(0, 1),和为 1输出概率分布仅用于输出层
ReLU 为什么好用?

ReLU 就像一个"单向阀门":
正数信号→畅通无阻(梯度=1,信号不衰减)
负数信号→直接关掉(梯度=0,信号被截断)
这种"稀疏激活"的特性让网络训练更快——就像大脑中只有部分神经元在工作,效率更高。

激活函数选择指南 隐藏层:默认用 ReLU。如果遇到"死神经元"问题,换 Leaky ReLU。
Transformer 模型:用 GELU。
输出层:二分类→Sigmoid;多分类→Softmax;回归→不加激活(线性输出)。
千万不要在隐藏层用 Sigmoid——梯度消失会让深层网络训练不动。

2.5 前向传播

前向传播(Forward Propagation)就是数据从输入层到输出层"流过"整个网络的过程。每经过一层,数据就被"加工"一次。

1
输入数据——比如一张 28×28 的手写数字图片,展平成 784 维的向量
2
第一层计算——z₁ = W₁·x + b₁,a₁ = ReLU(z₁)。把 784 维映射到 256 维
3
第二层计算——z₂ = W₂·a₁ + b₂,a₂ = ReLU(z₂)。把 256 维映射到 128 维
4
输出层计算——z₃ = W₃·a₂ + b₃,ŷ = Softmax(z₃)。把 128 维映射到 10 维(10 个数字的概率)

数学上,前向传播就是一系列的矩阵乘法 + 激活函数:

ŷ = Softmax(W₃ · ReLU(W₂ · ReLU(W₁·x + b₁) + b₂) + b₃)

矩阵乘法就是并行计算 如果你有 100 个样本,可以把它们堆成一个矩阵 X(形状 100×784),然后一次矩阵乘法 W₁·X 就同时处理了 100 个样本。这就是为什么 GPU(擅长矩阵运算)比 CPU 快那么多——它能同时进行成千上万个乘法。

2.6 损失函数

损失函数衡量模型的预测和真实答案之间的"差距"。训练的目标就是让损失函数尽可能小。

回归任务常用损失函数

损失函数公式特点
均方误差 MSE(1/n)Σ(ŷ-y)²对大误差敏感(平方放大);最常用
平均绝对误差 MAE(1/n)Σ|ŷ-y|对异常值更稳健
Huber LossMSE 和 MAE 的结合小误差用 MSE,大误差用 MAE

分类任务常用损失函数

损失函数公式特点
二分类交叉熵-[y·log(ŷ) + (1-y)·log(1-ŷ)]预测错误时梯度大,训练快
多分类交叉熵-Σ yᵢ·log(ŷᵢ)多分类的标准损失函数
Focal Loss-α(1-ŷᵞ)·log(ŷ)解决类别不平衡问题
损失函数的直觉

损失函数就像"考试扣分规则":
MSE:错得越多扣分越多,而且错得越远扣分越猛(平方)。适合"不能有大偏差"的场景。
交叉熵:你越自信地给出错误答案,扣分越狠。如果你说"我 99% 确定是猫"但其实是狗,那惩罚极重。

为什么分类用交叉熵而不是 MSE? 假设真实标签是 1,模型预测 0.01(非常错误)。
MSE 的梯度 = 2(0.01-1)×0.01×(1-0.01) ≈ -0.02——梯度很小,训练慢。
交叉熵的梯度 = -1/0.01 = -100——梯度很大,训练快。
交叉熵在预测错误时给更大的"惩罚",推动模型更快地修正错误。

2.7 反向传播与梯度下降

反向传播(Backpropagation)是训练神经网络的核心算法。它回答了一个关键问题:每个参数该往哪个方向调整、调整多少?

训练的完整流程

1
前向传播——输入数据流过网络,得到预测值 ŷ
2
计算损失——用损失函数算出 ŷ 和真实值 y 的差距 L
3
反向传播——用链式法则,从输出层往回算,算出每个参数的梯度 ∂L/∂w
4
更新参数——w = w - 学习率 × ∂L/∂w,沿梯度反方向走一小步
5
重复——用下一批数据回到第 1 步,重复几千到几百万次,直到损失收敛
反向传播的类比:追溯责任

想象一个工厂生产出了次品(损失大)。你要追溯原因:
最终产品有问题(输出层误差)→ 是因为第三道工序的参数不对(第三层梯度)→ 而那是因为第二道工序的材料有问题(第二层梯度)→ 而那是因为第一道工序的配方错了(第一层梯度)
反向传播做的就是这个"从后往前追溯责任"的过程。数学工具叫链式法则。

链式法则

如果 y = f(g(x)),那么 dy/dx = df/dg × dg/dx。

在神经网络中,损失 L 通过层层嵌套的函数依赖于每个参数。链式法则让我们能从最后一层开始,逐层往前算出每个参数的梯度。

直觉理解 梯度告诉你"如果把这个参数稍微调大一点,损失会变大还是变小、变多少"。
如果梯度是正的→调大参数会让损失变大→应该调小参数。
如果梯度是负的→调大参数会让损失变小→应该调大参数。
w = w - 学习率 × 梯度 就是这个"反方向调整"的数学表达。

2.8 计算图与自动微分

现代深度学习框架(PyTorch、TensorFlow)都用计算图和自动微分来实现反向传播。你不需要手动算梯度——框架会自动帮你完成。

什么是计算图?

计算图是把数学运算表示为"图"结构:节点是运算(加法、乘法、激活函数),边是数据流。

例如,计算 L = (w·x + b - y)² 的计算图:

1
节点 1:z₁ = w · x(乘法)
2
节点 2:z₂ = z₁ + b(加法)
3
节点 3:z₃ = z₂ - y(减法)
4
节点 4:L = z₃²(平方)——得到最终损失

自动微分的原理

框架在做前向传播时,会同时记录每一步的运算。反向传播时,沿着计算图从后往前,用链式法则自动算出每个参数的梯度。

自动微分的类比

想象你按照菜谱做了一道菜(前向传播),结果很难吃(损失大)。自动微分就像一个"智能助手",它记录了你每一步用了什么食材、放了多少、火候多大,然后自动告诉你"如果少放点盐(调整参数),味道会好多少"。你不需要自己分析每一步的影响——助手帮你算好了。

PyTorch 的 Autograd

PyTorch 使用动态计算图(define-by-run)——每次前向传播时实时构建计算图。这意味着你可以用普通的 Python 控制流(if/for/while),调试也更方便。

requires_grad=True 在 PyTorch 中,只要给张量设置 requires_grad=True,框架就会自动追踪对它的所有运算。
调用 loss.backward() 后,所有 requires_grad=True 的张量的梯度会被自动计算并存储在 .grad 属性中。
这就是为什么 PyTorch 写起来像普通 Python——你只需要定义前向传播,反向传播全自动。

静态图 vs 动态图

动态图(PyTorch)静态图(TensorFlow 1.x)
构建时机运行时实时构建先定义完整图,再执行
调试方便,可以用 pdb 断点困难,需要特殊工具
控制流直接用 Python if/for需要特殊的 tf.cond/tf.while
性能优化较少优化空间可以做全局优化
部署需要 TorchScript 导出直接导出
TensorFlow 2.x 已经转向动态图 TensorFlow 2.x 默认使用 Eager Mode(动态图),和 PyTorch 类似。静态图模式通过 @tf.function 装饰器按需启用。
现在两个框架的使用体验已经非常接近——选哪个主要看生态和个人偏好。

3. 训练神经网络的技巧

训练神经网络不只是"算梯度、更新参数"那么简单。有很多技巧能让训练更快、效果更好。这一章总结了最重要的实战经验。

3.1 优化器详解

梯度下降是最基本的优化算法,但有很多改进版本(优化器)能让训练更快更稳。

从 SGD 到 Adam 的演进

SGD
最基本的梯度下降——w = w - lr × grad。简单但收敛慢,容易卡在鞍点(某个方向是最低点,另一个方向不是)。
SGD + Momentum
加入"动量"——像球滚下山坡,有惯性。v = β·v + grad,w = w - lr × v。能冲过小的局部最优,加速收敛。
AdaGrad
自适应学习率——梯度大的参数学习率自动变小,梯度小的参数学习率自动变大。适合稀疏数据。但学习率会单调递减,后期可能太小。
RMSProp
修正 AdaGrad——用指数移动平均代替简单累加,解决了学习率衰减过快的问题。
Adam
Momentum + RMSProp 的结合——既用动量加速,又自适应调整学习率。默认 lr=0.001,大多数情况效果很好。目前最常用的优化器。
优化器选择建议 默认用 Adam(lr=0.001),大多数情况效果不错。
Transformer/BERT 微调:用 AdamW(Adam + 权重衰减解耦)。
追求最佳精度:SGD + Momentum + 学习率调度(很多 CV 竞赛冠军用这个)。
训练不稳定:试试降低学习率或增加梯度裁剪。

Adam 的工作原理

Adam 同时维护两个"移动平均":

更新规则:

  1. m = β₁·m + (1-β₁)·grad(梯度方向的平滑估计)
  2. v = β₂·v + (1-β₂)·grad²(梯度大小的平滑估计)
  3. w = w - lr · m̂ / (√v̂ + ε)(自适应学习率更新)

直觉:如果某个参数的梯度一直很大(v 大),就自动降低它的学习率;如果梯度方向一直一致(m 大),就加大步子。这就是"自适应学习率"的含义。

Adam vs AdamW

标准 Adam 的权重衰减实现有问题——它把 L2 正则化和梯度更新混在一起了。AdamW 把权重衰减"解耦"出来,效果更好:

训练 Transformer 模型时,一定要用 AdamW。

3.2 学习率调度

学习率是训练中最重要的超参数。太大会震荡不收敛,太小会训练太慢。学习率调度(Learning Rate Schedule)在训练过程中动态调整学习率。

常见调度策略

策略做法适用场景
阶梯衰减每隔 N 个 epoch,学习率乘以 0.1经典 CV 训练
余弦退火学习率按余弦曲线从大到小变化大多数场景,效果好
Warmup + 衰减前几百步线性增大,之后衰减Transformer 训练的标准做法
OneCycleLR先增后减,一个 cycle 内完成快速训练,super-convergence
学习率范围测试(LR Range Test) 训练前先做一个测试:从极小的学习率(1e-7)开始,逐渐增大到很大(1),记录每个学习率对应的损失。
画出"学习率 vs 损失"曲线:损失下降最快的学习率范围就是最佳范围。
通常最佳学习率在损失下降最陡的那个点的左边一点。

3.3 权重初始化

训练前需要给网络的权重赋初始值。初始化方式选不好,网络可能训练不动。

为什么不能全设为 0?

如果所有权重都是 0,那每一层的所有神经元都会输出相同的值,反向传播时梯度也相同——所有神经元永远一样,相当于只有一个神经元。这叫"对称性问题"。

正确的初始化方法

方法适用激活函数原理
Xavier / GlorotSigmoid、Tanh保持前向和反向传播中信号的方差不变
He 初始化ReLU 及其变体考虑了 ReLU 会"杀死"一半神经元的特性
Kaiming 初始化ReLU 深层网络He 初始化的改进,适合非常深的网络
简单规则 用 ReLU 激活函数→He 初始化。
用 Sigmoid/Tanh→Xavier 初始化。
现代框架(PyTorch)默认用合理的初始化,一般不需要手动设置。

3.4 正则化技术

正则化是防止过拟合的一系列技术。过拟合就是模型"死记硬背"了训练数据,但对新数据效果很差。

Dropout

训练时随机"关闭"一部分神经元(以概率 p 设为 0),测试时全部开启但权重乘以 (1-p)。

Dropout 的类比

想象一个团队做项目。Dropout 相当于每天随机让几个人请假——这样每个人都必须学会独立完成工作,而不是过度依赖某个人。最终团队的每个人都很强,不会因为少了谁就崩溃。

L2 正则化(权重衰减)

在损失函数中加入权重的平方和作为惩罚项:L_total = L_data + λ·Σw²

早停(Early Stopping)

监控验证集的损失,如果连续 N 个 epoch 不下降就停止训练。

3.5 批归一化与层归一化

归一化技术让训练更快、更稳定。

Batch Normalization(批归一化)

在每一层的输入做标准化:减均值、除标准差,然后用可学习的参数 γ 和 β 做缩放和平移。

BN(x) = γ · (x - μ_batch) / √(σ²_batch + ε) + β

BatchNorm 的注意事项 batch size 太小效果差——batch size < 16 时,统计量估计不准。小 batch 用 GroupNorm 或 LayerNorm 代替。
不能和 Dropout 一起用——Dropout 改变了 batch 的统计量,会干扰 BatchNorm。通常二选一。
训练和推理不一致——训练时用 batch 统计量,推理时用移动平均。如果忘记切换(model.eval()),推理结果会出错。

Layer Normalization(层归一化)

和 BatchNorm 类似,但在特征维度上归一化,而不是在 batch 维度上。

BatchNormLayerNorm
归一化维度batch 维度(跨样本)特征维度(跨特征)
依赖 batch size是(batch 太小效果差)否
适用模型CNNTransformer、RNN
训练/测试差异有(需要 running mean)无

3.6 数据增强

数据增强通过对现有数据做变换来"创造"新的训练样本,是防止过拟合最有效的方法之一。

图像数据增强

数据增强的原则 增强后的数据必须仍然合理——把一张猫的图片旋转 180° 是合理的(猫可以倒着),但把数字 "6" 旋转 180° 就变成了 "9"——标签变了。
增强幅度要适当——太小没效果,太大会引入噪声。
只在训练集上增强——验证集和测试集不做增强,保持原始数据。

文本数据增强

表格数据增强

3.7 常见问题与解决方案

问题 1:梯度消失 症状:深层网络训练时,前面几层的权重几乎不更新。
原因:反向传播时梯度逐层连乘,如果每层梯度 < 1,连乘后趋近于 0。
解决:用 ReLU 激活函数、残差连接、BatchNorm、合理的权重初始化。
问题 2:梯度爆炸 症状:loss 突然变成 NaN 或者非常大的数。
原因:梯度太大,参数更新过猛。
解决:梯度裁剪(Gradient Clipping,限制梯度的最大范数)、降低学习率、权重衰减。
问题 3:过拟合 症状:训练集 loss 很低,验证集 loss 很高。
原因:模型太复杂或数据太少,模型"死记硬背"了训练数据。
解决:增加数据(数据增强)、加 Dropout、加正则化、减小模型、早停。
问题 4:欠拟合 症状:训练集和验证集的 loss 都很高。
原因:模型太简单,没学到数据的规律。
解决:增加模型复杂度(更多层/更多神经元)、降低正则化、训练更久、换更好的优化器。
问题 5:训练 loss 不下降 症状:loss 卡在一个值不动。
原因:学习率太小、权重初始化不对、数据有 bug、网络结构有问题。
解决:先检查数据是否正确→然后增大学习率→检查网络结构→检查损失函数。

3.8 深度学习调参清单

当你训练一个深度学习模型效果不好时,按以下顺序排查,从最简单、最常见的问题开始:

1
检查数据——数据是否正确加载?标签是否对齐?有没有数据泄露?先用极小的数据集(几十条)看模型能不能过拟合——如果连小数据都过拟合不了,说明模型或代码有 bug。
2
从简单模型开始——先用一个很小的网络(1-2 层)跑通整个流程,确认 loss 在下降、梯度正常。然后再逐步增大模型。
3
调学习率——这是最重要的超参数。做学习率扫描(从 1e-7 到 1),找到 loss 下降最快的范围。通常最佳学习率在 1e-4 到 1e-2 之间。
4
检查过拟合——如果训练 loss 很低但验证 loss 很高,按优先级尝试:增加数据→数据增强→加 Dropout→加权重衰减→减小模型→早停。
5
检查欠拟合——如果训练 loss 和验证 loss 都很高,按优先级尝试:增大模型→降低正则化→训练更久→换更好的优化器→检查数据质量。
6
精细调优——用余弦退火或 OneCycleLR 调度学习率;尝试不同的 batch size(32~256);用混合精度训练加速;做超参数搜索(Optuna)。
调参的黄金法则 一次只改一个东西——同时改学习率、batch size、网络结构,你不知道哪个改变起了作用。
先粗调再细调——先用大步长找到大致范围,再用小步长精细搜索。
记录每次实验——用 Weights & Biases 或 MLflow 记录每次的参数和结果。没有记录的调参就是浪费时间。
相信数据,不相信直觉——你觉得"应该"有效的改动,可能反而让效果变差。让实验数据说话。

超参数优先级排序

优先级超参数影响程度建议范围
1(最高)学习率极大1e-5 ~ 1e-1,先做扫描
2Batch Size大32~256,显存允许尽量大
3网络深度大先浅后深,逐步增加
4Dropout 率中0.1~0.5
5权重衰减中1e-5 ~ 1e-2
6网络宽度中128~1024
7(最低)优化器选择小~中Adam 默认即可

4. CNN 卷积神经网络

卷积神经网络(Convolutional Neural Network,CNN)是处理图像的"标配"。它通过局部感知 + 权重共享的巧妙设计,解决了全连接网络处理图像时参数爆炸的问题。

4.1 为什么需要 CNN?

一张 224×224 的彩色图片有 224×224×3 = 150,528 个像素。如果用全连接网络处理,假设第一个隐藏层有 1000 个神经元,那仅第一层就有 1.5 亿个参数——太多了,既慢又容易过拟合。

CNN 用两个关键思想解决这个问题:

一个类比

你在看一幅大画:
全连接网络 = 你需要同时记住画中每个像素的位置和颜色——信息量爆炸。
CNN = 你先用一个小放大镜看局部(卷积),找出边缘和纹理;然后退后一步看更大区域(池化),组合出形状和物体;最后站在远处看整幅画,理解整体内容。

4.2 卷积操作详解

卷积是 CNN 的核心操作。用一个小的"滤波器"(也叫卷积核,如 3×3)在图像上滑动,每个位置做点积,提取局部特征。

1
放置滤波器——把 3×3 的滤波器放在图像的左上角
2
逐元素相乘再求和——滤波器的 9 个值和对应的 9 个像素值相乘,然后加起来。得到输出特征图的一个值
3
滑动——把滤波器向右移动一个像素(步长=1),重复步骤 2
4
遍历整张图——从左到右、从上到下,滑过整张图像,得到完整的输出特征图

卷积的关键参数

输出尺寸计算

输出尺寸 = (输入尺寸 - 滤波器大小 + 2×填充) / 步长 + 1

例如:输入 32×32,滤波器 3×3,填充 1,步长 1 → 输出 = (32-3+2)/1+1 = 32×32(尺寸不变)。

一个滤波器学什么? 一个 3×3 的滤波器在训练过程中会自动学习识别某种特征:
有的滤波器学会检测水平边缘,有的学会检测垂直边缘,有的学会检测特定颜色。
多个滤波器就能提取多种特征,组合起来就能理解图像的内容。

4.3 池化层

池化(Pooling)的作用是压缩特征图的大小,减少计算量,同时增加一定的平移不变性(物体稍微移动不影响识别)。

两种主要池化

类型做法特点
最大池化(Max Pooling)取区域内的最大值保留最显著的特征;最常用
平均池化(Average Pooling)取区域内的平均值保留整体信息;常用于最后的全局池化

通常用 2×2 的池化窗口、步长为 2,这样特征图的长和宽都减半,参数量减少到原来的 1/4。

4.4 经典 CNN 架构

从 LeNet 到 EfficientNet,CNN 架构不断演进。了解这些经典架构有助于理解 CNN 的发展脉络。

网络年份深度关键创新意义
LeNet-519985 层卷积+池化+全连接的基本结构CNN 的开山之作,用于手写数字识别
AlexNet20128 层ReLU、Dropout、GPU 训练、数据增强ImageNet 冠军,引爆深度学习革命
VGGNet201416/19 层只用 3×3 小卷积核堆叠证明了"深度"很重要
GoogLeNet201422 层Inception 模块(多尺度并行卷积)用更少参数达到更好效果
ResNet201550/101/152 层残差连接(跳跃连接)解决了深层网络退化问题,里程碑
DenseNet2017121/169 层密集连接(每层连接所有前面的层)特征复用,参数更少
EfficientNet2019可变同时优化深度、宽度、分辨率效率和精度的最佳平衡
Vision Transformer2020可变把图像切成 patch,用 Transformer 处理证明 Transformer 也能做 CV

4.5 残差连接

ResNet 的核心创新——残差连接(Residual Connection)——解决了深层网络训练困难的问题,是深度学习最重要的技术之一。

深层网络的问题

当网络层数增加到一定程度时,训练误差反而会增大——不是过拟合(验证误差也增大),而是网络变得更难训练了。这叫"退化问题"。

这很反直觉:理论上更深的网络应该至少不比浅网络差(多出来的层可以学成恒等映射)。但实际上,优化器很难学到恒等映射——残差连接让这件事变得容易。

退化问题 vs 过拟合 过拟合:训练误差低,验证误差高——模型太复杂。
退化:训练误差和验证误差都高——模型太深,优化困难。
如果加深网络后训练误差反而增大了,那就是退化问题,不是过拟合。加更多正则化没用,需要残差连接。

残差连接的做法

不是让网络直接学习完整的映射 H(x),而是学习"残差" F(x) = H(x) - x:

输出 = F(x) + x

也就是说,信息可以"跳过"某些层直接传递。如果某一层不需要做任何变换,网络只需要把 F(x) 学成 0 就行——比学习恒等映射 H(x)=x 容易得多。

残差连接的类比

你在一个很长的流水线上工作。如果每个环节都必须完美传递信息,到最后一环信息可能已经丢失了。
残差连接就像在流水线上加了"直通通道"——即使某个环节出了问题,信息也能直接传到后面。这让信息在深层网络中不会"消失"。

残差连接的影响 残差连接让训练几百层甚至上千层的网络成为可能。它不仅用于 CNN,还广泛用于 Transformer、U-Net 等几乎所有现代深度学习架构中。可以说,没有残差连接,就没有今天的大模型。

4.6 CNN 设计原则

设计 CNN 架构时,有一些经过实践验证的设计原则:

感受野(Receptive Field)

每个输出像素"看到"的输入区域大小。浅层神经元的感受野小(只看局部),深层神经元的感受野大(看全局)。

通道数的变化规律

现代 CNN 的常见组件

Conv
卷积层——提取特征。通常用 3×3 卷积核,padding="same"保持尺寸。
BN
批归一化——加速训练、稳定梯度。加在卷积之后、激活之前。
ReLU
激活函数——引入非线性。默认用 ReLU。
Pool
池化层——降低空间尺寸。用 2×2 MaxPool 或步长=2 的卷积代替。
Residual
残差连接——让信息跳层传递。深层网络必备。
实用设计建议 不要一开始就设计复杂架构——先用 ResNet-18 或 ResNet-34 预训练模型微调,效果通常比自己设计的好。
3×3 卷积是万能的——除非你有特殊需求,否则用 3×3 卷积核就够了。
步长卷积代替池化——现代架构倾向于用 stride=2 的卷积代替 MaxPool,效果相当但更简洁。
深度 > 宽度——增加层数通常比增加每层的通道数更有效。

4.7 CNN 的实际应用

图像分类

给一张图片打上类别标签(猫、狗、汽车……)。经典流程:卷积层提取特征 → 全连接层分类。

目标检测

找出图片中物体的位置和类别。代表算法:

语义分割

对每个像素做分类——"这个像素属于天空、地面还是人?"

实例分割

在语义分割的基础上,区分同一类别的不同个体——"这是第一个人,那是第二个人"。

风格迁移

把一张图片的内容和另一张图片的风格结合。比如把你的照片变成"梵高风格"。

核心思想:用预训练的 CNN(如 VGG-19)提取内容特征和风格特征(Gram 矩阵),然后优化生成图片让它同时匹配内容和风格。

图像生成

从随机噪声或文本描述生成图片。核心技术从 GAN 演进到扩散模型:

5. RNN 与序列模型

处理有"先后顺序"的数据——文本、语音、时间序列、股票价格。CNN 假设输入是固定大小且无序的,但序列数据的长度可变且顺序很重要。

5.1 RNN 基本原理

循环神经网络(Recurrent Neural Network,RNN)的核心思想:每个时间步的输出不仅取决于当前输入,还取决于之前的"隐藏状态"(记忆)。

1
时间步 1——输入"我",隐藏状态 h₁ = f("我")
2
时间步 2——输入"爱",隐藏状态 h₂ = f("爱", h₁)。h₂ 同时包含了"我"和"爱"的信息
3
时间步 3——输入"中国",隐藏状态 h₃ = f("中国", h₂)。h₃ 包含了"我爱中国"的完整信息

数学公式:hₜ = tanh(Wₓₕ·xₜ + Wₕₕ·hₜ₋₁ + b)

RNN 的类比:读书

RNN 像你读一本书:每读一个字,你会结合前面的内容来理解。
读到"我"→你知道主语是"我"
读到"爱"→你知道"我"在做"爱"这个动作
读到"中国"→你理解了"我爱中国"这个完整句子
隐藏状态 hₜ 就是你的"当前理解",它随着阅读不断更新。

5.2 梯度消失与梯度爆炸

RNN 有一个严重的问题:记不住长距离的信息。

为什么?

反向传播时,梯度需要在时间步之间连乘。假设每个时间步的梯度是 0.9:

这意味着远距离的信息梯度接近 0,参数无法更新——RNN "忘掉"了早期的信息。

梯度消失的类比:传话游戏

10 个人玩传话游戏,每个人只能听到前一个人说的话。
第 1 个人说"今天天气很好"→经过 10 个人的传递→第 10 个人可能听到"今天吃了西瓜"。
信息在传递过程中不断衰减和失真——这就是梯度消失。
LSTM 的解决方案:给每个人一本笔记本(细胞状态),重要的信息直接写在笔记本上传递,不会因为传话而丢失。

梯度爆炸的解决 梯度爆炸相对好解决:梯度裁剪(Gradient Clipping)——如果梯度的范数超过某个阈值,就按比例缩小。
if ||grad|| > threshold: grad = threshold × grad / ||grad||

梯度消失更难解决——LSTM 和 GRU 就是为了解决这个问题而设计的。

5.3 LSTM 详解

LSTM(Long Short-Term Memory,长短期记忆网络)通过精心设计的"门控机制"解决了梯度消失问题,是序列模型中最重要的架构之一。

LSTM 的核心组件

遗忘门
决定丢弃哪些旧信息——f = σ(W·[hₜ₋₁, xₜ])。输出 0~1 之间的值。0 = 完全遗忘,1 = 完全保留。就像橡皮擦,擦掉不重要的旧记忆。
输入门
决定存储哪些新信息——i = σ(W·[hₜ₋₁, xₜ])。同时生成候选新信息 C̃ = tanh(W·[hₜ₋₁, xₜ])。就像用笔写下新的重要笔记。
细胞状态更新
更新长期记忆——Cₜ = f⊙Cₜ₋₁ + i⊙C̃。旧记忆 × 遗忘门 + 新信息 × 输入门。细胞状态是"高速公路",信息可以无损地传递很远。
输出门
决定输出哪些信息——o = σ(W·[hₜ₋₁, xₜ]),hₜ = o⊙tanh(Cₜ)。从细胞状态中选出当前需要的信息输出。
LSTM 的类比:智能笔记本

细胞状态 C = 一本笔记本(可以长期保存信息)
遗忘门 = 橡皮擦(擦掉过时的笔记)
输入门 = 笔(写下新的重要信息)
输出门 = 你决定现在要看笔记本上的哪些内容

关键是笔记本(细胞状态)的更新是"加法"而不是"乘法"——信息不会在传递过程中衰减,这就是 LSTM 能记住长距离信息的秘密。

LSTM 为什么能解决梯度消失?

关键在于细胞状态的更新方式是加法而不是乘法:

当遗忘门 f ≈ 1 时,细胞状态几乎不变——信息可以无损地传递很远。梯度也可以通过这条"高速公路"无损地回传,不会消失。

LSTM 的实际使用建议 序列长度 < 100:LSTM 和 GRU 效果差不多,用 GRU 更快。
序列长度 100~500:LSTM 通常更好,因为它有独立的细胞状态。
序列长度 > 500:考虑用 Transformer,RNN 在超长序列上效果有限。
双向 LSTM:如果任务不需要实时生成(如文本分类),用双向 LSTM 效果更好。

5.4 GRU 详解

GRU(Gated Recurrent Unit)是 LSTM 的简化版,只有两个门,参数更少,训练更快。

重置门
决定如何组合新输入和旧记忆——r = σ(W·[hₜ₋₁, xₜ])。如果 r≈0,忽略旧记忆,只看新输入。
更新门
决定保留多少旧信息、接受多少新信息——z = σ(W·[hₜ₋₁, xₜ])。如果 z≈1,保留旧记忆;z≈0,用新信息替换。
LSTMGRU
门的数量3 个(遗忘、输入、输出)2 个(重置、更新)
参数量较多较少(约 LSTM 的 75%)
训练速度较慢较快
效果长序列通常更好短序列效果相当
选择建议数据充足、序列较长数据有限、需要快速实验

5.5 双向 RNN 与编码器-解码器

双向 RNN

同时从前往后和从后往前读序列,把两个方向的隐藏状态拼接。这样每个位置都能看到完整的上下文。

比如理解"苹果很好吃"中的"苹果"——从前往后读你不知道是水果还是公司,但从后往前看到"好吃"就能确定是水果。

编码器-解码器(Seq2Seq)

处理"输入和输出长度不同"的任务,如机器翻译("我爱你" → "I love you")。

瓶颈:整个输入序列的信息被压缩到一个固定长度的向量中,信息会丢失。Transformer 的注意力机制就是为了解决这个问题。

5.6 Seq2Seq 与注意力机制

标准的编码器-解码器模型有一个致命瓶颈:编码器把整个输入压缩成一个固定长度的向量。当输入序列很长时,这个向量无法承载所有信息。

注意力机制的解决方案

注意力机制让解码器在生成每个输出时,都能"回头看"编码器的所有隐藏状态,并根据相关性分配不同的权重。

1
编码器处理输入序列,输出每个时间步的隐藏状态 h₁, h₂, ..., hₙ
2
解码器生成第 t 个输出时,计算当前隐藏状态 sₜ 和所有编码器隐藏状态 hᵢ 的"相关性分数"
3
加权求和——用 Softmax 归一化分数,得到注意力权重 αᵢ。然后对编码器隐藏状态加权求和:cₜ = Σ αᵢ·hᵢ。这个 cₜ 叫"上下文向量"。
4
生成输出——解码器用上下文向量 cₜ 和当前隐藏状态 sₜ 一起预测下一个词
注意力的类比:翻译时的"回头看"

你在翻译"我爱中国"为英文时:
生成 "I" 时→回头看"我",给它最大的注意力权重
生成 "love" 时→回头看"爱",给它最大的注意力权重
生成 "China" 时→回头看"中国",给它最大的注意力权重
不需要把整句话的信息压缩到一个向量里——每次生成时直接"查阅原文"。

从 Seq2Seq 注意力到 Transformer Seq2Seq 的注意力是"编码器-解码器注意力"——解码器去看编码器的输出。
Transformer 把这个思想推广了:
自注意力(Self-Attention)——让序列中的每个位置都能看到其他所有位置。
多头注意力(Multi-Head Attention)——同时用多组 Q、K、V 关注不同的关系。
Transformer 用自注意力完全替代了 RNN,实现了更好的并行化和更强的表达能力。

6. Transformer 与注意力机制

2017 年 Google 论文《Attention is All You Need》提出的 Transformer 彻底改变了深度学习。它是 GPT、BERT、Claude、LLaMA 等所有现代大模型的基础,可以说是过去十年最重要的技术突破。

6.1 注意力机制的直觉

注意力机制的核心思想:让模型在处理每个位置时,能"看到"序列中的其他所有位置,并根据"相关性"分配不同的关注程度。

一个类比:看一段话

当你读到"它"这个代词时,你的大脑会自动"回头看",找到"它"指代的是什么——比如前面提到的"猫"。
注意力机制做的就是同样的事:让"它"去"注意"前面的"猫",获得"猫"的信息,从而理解"它"指的是谁。

6.2 自注意力计算过程

自注意力(Self-Attention)的计算可以用"图书馆找书"来理解:

1
生成 Q、K、V——每个输入向量 x 通过三个不同的线性变换得到 Q(查询)、K(键)、V(值)三个向量。
Q = 你的问题("我想找关于机器学习的书")
K = 每本书的标签("计算机"、"历史"、"烹饪"……)
V = 每本书的实际内容
2
计算注意力分数——score = Q·Kᵀ / √dₖ
用 Q 去匹配所有 K,点积越大说明越相关。除以 √dₖ 是为了防止分数过大导致 Softmax 饱和。

为什么要除以 √dₖ?假设 Q 和 K 的每个元素都是均值为 0、方差为 1 的随机变量,那 Q·Kᵀ 的方差就是 dₖ。dₖ 越大,点积值越大,Softmax 的输出越接近 one-hot(梯度趋近于 0)。除以 √dₖ 把方差归一化到 1,让 Softmax 工作在梯度合理的区域。
3
Softmax 归一化——把分数转换成概率分布(所有权重之和 = 1)。
最相关的书得到最大的权重。
4
加权求和——output = softmax(score) × V
用注意力权重对 V 加权求和,得到每个位置的新表示。新表示融合了整个序列的信息。
为什么 Q、K、V 要分开? 如果直接用输入向量 x 做点积,那"找相关性"和"提取信息"用的是同一套参数,表达能力有限。
分成 Q、K、V 后,"用什么来找"(Q)和"被怎么找到"(K)以及"提供什么信息"(V)可以各自学习,灵活性大大增强。

6.3 多头注意力

单个注意力头只能关注一种类型的关系。多头注意力(Multi-Head Attention)同时用多组(通常 8 或 16 组)Q、K、V,每组叫一个"注意力头"。

不同的头可以关注不同的方面:

最后把所有头的输出拼接起来,再做一次线性变换。

6.4 Transformer 完整架构

Transformer 由编码器和解码器两部分组成:

编码器(Encoder)

每一层包含:

1
多头自注意力——让每个位置都能看到整个序列的信息
2
残差连接 + 层归一化——LayerNorm(x + Attention(x))
3
前馈网络(FFN)——两层全连接网络,对每个位置独立处理。先扩大维度(如 768→3072),再缩回来。
4
残差连接 + 层归一化——LayerNorm(x + FFN(x))

编码器重复 N 层(BERT-base 用 12 层,BERT-large 用 24 层)。

前馈网络(FFN)的作用

自注意力负责"看其他位置的信息",而前馈网络负责"对每个位置的信息做非线性变换"。FFN 通常是一个"先扩大再缩小"的两层网络:

FFN(x) = ReLU(x·W₁ + b₁)·W₂ + b₂

残差连接的重要性

Transformer 的每一层都有残差连接:LayerNorm(x + Sublayer(x))

解码器(Decoder)

和编码器类似,但有两个关键区别:

编码器 vs 解码器模型 仅编码器(BERT):双向注意力,适合理解文本(分类、搜索、问答)。
仅解码器(GPT、Claude):因果注意力,适合生成文本(对话、写作、编程)。
编码器-解码器(T5、BART):适合序列到序列的任务(翻译、摘要)。
当前大模型主流是仅解码器架构。

6.5 位置编码

Transformer 的自注意力是"无序"的——它不知道词的先后顺序。位置编码(Positional Encoding)给每个位置加上一个独特的"位置信号"。

原始位置编码

用正弦和余弦函数生成:

PE(pos, 2i) = sin(pos / 10000^(2i/d))

PE(pos, 2i+1) = cos(pos / 10000^(2i/d))

旋转位置编码(RoPE)

现代大模型(LLaMA、Qwen 等)常用 RoPE(Rotary Position Embedding)。它的核心思想:把位置信息编码为向量的旋转角度。

可学习位置编码

BERT 和 GPT-2 用可学习的位置编码——每个位置有一个可训练的向量。简单但不能外推(超过训练长度就无法处理)。

ALiBi(Attention with Linear Biases)

不给输入加位置编码,而是在注意力分数上加一个和距离成正比的偏置。距离越远,偏置越负,注意力权重越小。简单有效,外推性好。

位置编码对比

方法外推性计算开销代表模型
正弦编码中等无额外开销原始 Transformer
可学习编码差(不能外推)增加参数BERT、GPT-2
RoPE好(配合 NTK 缩放)少量额外计算LLaMA、Qwen、Mistral
ALiBi好极小BLOOM、MPT

6.6 为什么 Transformer 是革命性的

对比RNN / LSTMTransformer
长距离依赖信息需要逐步传递,容易丢失每个位置直接看到所有位置
并行计算必须按顺序处理,无法并行所有位置同时计算,充分利用 GPU
训练速度慢(序列越长越慢)快(但注意力复杂度是 O(n²))
可解释性隐状态难以解释注意力权重可视化,可解释
扩展性难以扩展到很大规模可以扩展到数千亿参数
Transformer 为什么能训练那么大的模型? 两个关键原因:
1. 并行化:自注意力可以一次算出所有位置的关系,GPU 利用率极高。
2. 可扩展性:增加层数、增加注意力头数、增加隐藏维度,效果稳定提升。这叫"Scaling Law"——模型越大、数据越多、训练越久,效果就越好。

6.7 Transformer 变体:GPT、BERT、T5

Transformer 的原始架构包含编码器和解码器两部分。后续的研究者根据不同的任务需求,发展出了三种主要变体:

BERT(仅编码器)

BERT(Bidirectional Encoder Representations from Transformers)只用 Transformer 的编码器部分,使用双向注意力——每个位置都能看到所有其他位置。

BERT 的预训练任务

BERT 擅长什么? BERT 擅长理解文本——分类、搜索、问答、情感分析。因为它能同时看到前后的上下文。
BERT 不擅长生成——因为它不是为生成设计的。要生成文本,用 GPT。

GPT(仅解码器)

GPT(Generative Pre-trained Transformer)只用 Transformer 的解码器部分,使用因果注意力——每个位置只能看到它之前的词。

GPT 的预训练任务

GPT 为什么能做那么多事? GPT 的训练目标是"预测下一个词",但为了做好这个任务,它必须学会:
语法(知道什么词搭配合理)→ 语义(理解词的含义)→ 推理(根据上下文推断)→ 世界知识(知道事实)→ 代码(理解编程语言的规律)
"预测下一个词"看似简单,实际上是一个极其强大的通用学习目标。

T5(编码器-解码器)

T5(Text-to-Text Transfer Transformer)把所有任务都统一成"文本到文本"的格式:

三种变体对比

BERTGPTT5
架构仅编码器仅解码器编码器-解码器
注意力类型双向因果(单向)编码器双向 + 解码器因果
预训练任务掩码语言模型下一个词预测Span corruption
擅长任务理解(分类、搜索、问答)生成(对话、写作、编程)通用(所有 NLP 任务)
代表模型BERT、RoBERTa、DeBERTaGPT、LLaMA、ClaudeT5、Flan-T5、BART
当前主流程度★★★(搜索/分类仍在用)★★★★★(大模型主流)★★★(特定任务好用)

6.8 Transformer 的计算开销与优化

自注意力的计算复杂度是 O(n²)——序列长度翻倍,计算量翻四倍。这在处理长文档时成为瓶颈。

注意力的计算量分析

长序列优化方法

方法原理复杂度代表模型
FlashAttention优化 GPU 内存访问模式,减少 HBM 读写O(n²) 但常数小很多大多数现代模型
稀疏注意力只计算部分位置对的注意力O(n√n) 或 O(n log n)Longformer、BigBird
线性注意力用核函数近似 SoftmaxO(n)Linear Transformer
滑动窗口每个位置只看附近的窗口O(n×w)Mistral
分组查询注意力多个查询头共享一组 K、V减少 KV CacheLLaMA 2、Mistral
FlashAttention:必知必会 FlashAttention 是 2022 年最重要的 Transformer 优化之一。它不改变注意力的数学计算,只是优化了 GPU 的内存读写顺序,就能让注意力计算快 2~4 倍,同时支持更长的序列。
现在几乎所有主流框架都内置了 FlashAttention。如果你在训练 Transformer 模型,一定要开启它。

7. 生成模型

前面讲的都是"判别模型"——给定输入,预测输出。生成模型则相反:它学习数据的分布,能生成新的、看起来像真实数据的样本。AI 绘画、AI 写作、AI 作曲的背后都是生成模型。

7.1 自编码器与 VAE

自编码器(Autoencoder)

把输入"压缩"成一个低维向量(编码),再从这个向量"还原"回原始输入(解码)。

中间的低维向量就是数据的"精华"——它被迫用更少的信息来表示原始数据。

变分自编码器(VAE)

VAE 在自编码器基础上加入了概率约束:编码器不是输出一个固定的向量,而是输出一个均值 μ 和方差 σ²,然后从这个分布中采样得到潜在向量 z。

VAE 的训练目标

VAE 的损失函数有两部分:

损失 = 重建损失 + β · KL(q(z|x) || N(0,1))

这样做的好处:潜在空间是连续的、平滑的。你可以在这个空间中"插值"——在两张脸之间生成过渡的脸。也可以从标准正态分布中随机采样,解码成新的图片。

VAE 的类比:漫画家的速写本

编码器 = 漫画家看一眼模特,快速画一个简笔画(压缩成潜在向量)
解码器 = 根据简笔画还原出完整的画作
KL 散度 = 要求简笔画的风格统一(不能太随意),这样随便画一个简笔画也能还原出合理的画作
普通自编码器的简笔画可能很"奇怪"(不规整),VAE 的简笔画一定在"正常范围"内。

7.2 生成对抗网络 GAN

GAN(Generative Adversarial Network)是 2014 年 Goodfellow 提出的开创性工作。它通过两个网络的"对抗"来学习生成数据。

两个角色

生成器 G
造假者——从随机噪声生成假图片,目标是骗过判别器
判别器 D
鉴别者——判断一张图片是真实的还是生成器造的假图
1
生成器从随机噪声中生成一张假图片
2
判别器看这张图片,判断"真"还是"假"
3
判别器更新——如果判断错了,惩罚判别器,让它下次更准
4
生成器更新——如果被判别器识破了,惩罚生成器,让它下次生成得更逼真
GAN 的类比:造假币者与警察

生成器 = 造假币者,不断提高伪造技术
判别器 = 警察,不断提高鉴别能力
两者互相竞争、共同进步。最终,造假币者的技术好到连警察都分辨不出真假——这时生成器就能生成以假乱真的图片了。

GAN 的经典变体

变体改进应用
DCGAN用 CNN 替代全连接网络稳定了 GAN 的训练
WGAN用 Wasserstein 距离替代 JS 散度解决了训练不稳定和模式崩塌
StyleGAN风格注入、渐进式生成生成超逼真的人脸
CycleGAN不需要配对数据的风格迁移马↔斑马、照片↔油画
Pix2Pix条件 GAN,成对数据线稿→彩色图、白天→夜晚

7.3 扩散模型 Diffusion

扩散模型(Diffusion Model)是当前最火的图像生成技术,Stable Diffusion、DALL-E、Midjourney 都基于它。

核心思想

1
正向过程(加噪声)——逐步给清晰图片添加噪声,经过 T 步后变成纯噪声。就像一滴墨水在水中扩散,最终整杯水都变黑。
2
训练去噪模型——训练一个神经网络,学习"在给定的噪声程度下,如何去除噪声"。输入:带噪声的图片 + 噪声程度;输出:预测的噪声。
3
反向过程(生成)——从纯噪声开始,用训练好的去噪模型一步步去除噪声,最终生成清晰的图片。就像把墨水从水中一步步"吸"出来。
为什么扩散模型比 GAN 好? 训练稳定:GAN 需要两个网络对抗训练,经常不稳定(模式崩塌、训练振荡)。扩散模型只需要训练一个去噪网络,训练目标简单明确。
生成质量:扩散模型生成的图片质量通常比 GAN 更好、更多样。
可控性:可以通过文本提示(Prompt)精确控制生成内容。

扩散模型的数学直觉

正向过程:给原始图片 x₀ 逐步加高斯噪声:

xₜ = √(αₜ) · xₜ₋₁ + √(1-αₜ) · ε,其中 ε ~ N(0, I)

经过 T 步后(T 通常 1000~4000),xₜ 几乎变成纯噪声。

反向过程:训练一个神经网络 εθ 来预测每一步加的噪声:

损失 = ||ε - εθ(xₜ, t)||²

生成时:从纯噪声 xₜ 开始,用训练好的模型逐步去噪:

xₜ₋₁ = (1/√αₜ)(xₜ - (1-αₜ)/√(1-ᾱₜ) · εθ(xₜ, t)) + 噪声

Stable Diffusion 的工作原理

Stable Diffusion 不是在原始像素空间做扩散,而是在潜在空间(Latent Space)做,大幅减少了计算量:

1
编码——用 VAE 的编码器把图片压缩到潜在空间(如 64×64×4,比原始 512×512×3 小很多)
2
扩散——在潜在空间中做扩散和去噪(计算量大大减少)
3
条件控制——用 CLIP 把文本提示转换成向量,注入到 U-Net 的去噪过程中
4
解码——用 VAE 的解码器把潜在表示还原成图片

7.4 Flow 模型

归一化流(Normalizing Flow)是一种精确的生成模型。它通过一系列可逆变换把简单的分布(如高斯分布)变成复杂的数据分布。

核心思想

Flow 模型的类比

想象你有一块橡皮泥(简单的分布)。Flow 模型就是一系列可逆的揉捏操作——拉伸、旋转、挤压。最终橡皮泥变成了你想要的形状(复杂的数据分布)。因为每一步都是可逆的,你可以随时"撤销"回去。

代表模型

Flow 模型的优缺点

优点缺点
可以精确计算概率(不像 GAN 和 VAE 只能近似)需要可逆变换,限制了网络架构设计
训练稳定(不像 GAN 需要对抗训练)生成质量通常不如扩散模型
可以做精确的似然估计计算量较大

7.5 生成模型对比

VAEGAN扩散模型
训练稳定性稳定不稳定稳定
生成质量较模糊清晰但可能模式崩塌最清晰
生成速度快(一次前向)快(一次前向)慢(需要多步去噪)
多样性好可能模式崩塌最好
可控性中等中等最好(支持文本控制)
代表应用图像压缩、异常检测人脸生成、风格迁移Stable Diffusion、DALL-E

7.6 GAN 训练技巧与常见问题

GAN 的训练是出了名的困难。以下是最常见的问题和解决方案:

模式崩塌(Mode Collapse)

症状:生成器只生成几种相似的图片,缺乏多样性。比如训练生成人脸,结果所有生成的人脸都长一样。

原因:生成器找到了一个能骗过判别器的"捷径",就一直用这个捷径。

解决:用 WGAN(Wasserstein 距离)、Mini-batch Discrimination、Unrolled GAN。

训练不稳定

症状:loss 震荡不收敛,生成质量忽好忽坏。

解决:

判别器太强/太弱

GAN 训练的黄金法则 1. 判别器和生成器要平衡——不能让一方太强。通常判别器训练 k 次(k=1~5),生成器训练 1 次。
2. 用 WGAN-GP——Wasserstein 距离 + 梯度惩罚,比原始 GAN 稳定得多。
3. 监控 FID 分数——不要只看 loss,用 FID(Fréchet Inception Distance)衡量生成质量。
4. 渐进式训练——从低分辨率开始,逐步增加。StyleGAN 就是这么做的。

8. 预训练大模型时代

2018 年以来,深度学习进入了"大模型时代"。核心范式:先在海量数据上预训练一个通用模型,再在具体任务上微调。这种方法的效果远超从头训练。

8.1 预训练与微调范式

预训练的类比

预训练 = 从小学到大学的通识教育。学语文、数学、物理、历史……什么都知道一点,但什么都不精。
微调 = 研究生阶段的专业训练。选了一个方向(比如医学影像),专门学习这个领域的知识。
一个刚预训练完的模型,就像一个什么都懂一点的大学毕业生。微调让它变成某个领域的专家。

为什么预训练有效?

微调方法

方法做法优点缺点
全参数微调调整模型所有参数效果最好成本最高,需要大量 GPU 显存
LoRA冻结原始参数,只训练低秩分解的 A 和 B 矩阵成本低、效果接近全参数需要选择秩 r
QLoRA在 LoRA 基础上把原始模型量化到 4 位一张消费级显卡就能微调 70B 模型量化有精度损失
Prompt Tuning只优化输入的提示词向量参数极少效果有限

8.2 大语言模型(LLM)

大语言模型是深度学习最引人注目的成就。它们能理解和生成自然语言,甚至能写代码、做数学题、进行推理。

主要模型

模型公司特点
GPT 系列OpenAIGPT-3(1750 亿参数)→ ChatGPT → GPT-4。擅长生成和推理
ClaudeAnthropic注重安全和有帮助,支持超长上下文(200K tokens)
LLaMAMeta开源大模型,社区活跃
Qwen(通义千问)阿里巴巴中文能力强,开源
DeepSeek深度求索性价比高,推理能力强

Scaling Law(缩放定律)

OpenAI 在 2020 年发现了一个惊人的规律:模型的性能和三个因素呈幂律关系:

这意味着只要持续增加模型大小、数据量和计算量,模型性能就会持续提升——没有明显的天花板。这就是为什么大模型越做越大。

LLM 的核心能力

LLM 的局限

RLHF(基于人类反馈的强化学习)

预训练的 LLM 只是"预测下一个词",它不知道什么是"好的回答"。RLHF 让模型学会人类的偏好——不只是"正确",还要"有帮助、无害、诚实"。

ChatGPT 就是用 RLHF 训练出来的:

1
SFT——先用"指令-回答"对做监督微调
2
收集偏好数据——模型生成多个回答,人类标注员排序哪个更好
3
训练奖励模型——学习人类的偏好,给回答打分
4
PPO 训练——用奖励模型作为"裁判",用 PPO 算法优化 LLM 的回答策略

8.3 视觉大模型

Vision Transformer(ViT)

把图像切成 16×16 的小块(patch),每个 patch 当作一个"词",然后用 Transformer 处理。证明了 Transformer 在 CV 领域也能超越 CNN。

ViT 的工作流程

1
切块——把 224×224 的图片切成 14×14 = 196 个 16×16 的 patch
2
线性嵌入——每个 patch 展平后通过一个线性层,映射成 D 维向量(如 768 维)
3
加上位置编码——给每个 patch 加上位置信息
4
Transformer 编码器——经过 12 层 Transformer 编码器处理
5
分类——取 [CLS] token 的输出,通过分类头得到类别
ViT vs CNN 数据量小:CNN 更好(归纳偏置强,数据效率高)
数据量大:ViT 更好(全局注意力,表达能力强)
混合方法:先用 CNN 提取特征,再用 Transformer 处理。很多现代架构(如 Swin Transformer)结合了两者的优势。

CLIP

同时训练一个图像编码器和一个文本编码器,让匹配的图文对在向量空间中距离更近。可以实现"用文字搜索图片"或"用图片搜索文字"。

SAM(Segment Anything Model)

Meta 提出的通用分割模型。给一张图片和一个点/框提示,SAM 就能分割出目标物体。在超过 10 亿个掩码上训练,泛化能力极强。

8.4 多模态模型

同时处理文本、图像、音频等多种数据的模型。

8.5 提示工程(Prompt Engineering)

提示工程是和大语言模型交互的"艺术"——通过精心设计提示词,让模型输出更好的结果。在不需要微调模型的场景下,提示工程是最实用的技巧。

基本技巧

明确指令
告诉模型你想要什么——"请用 3 个要点总结以下文章"比"总结一下"好得多。越具体,结果越好。
角色设定
给模型一个角色——"你是一个资深的 Python 开发者,请审查以下代码"比直接贴代码效果好。角色设定会影响模型的语气、深度和关注点。
Few-Shot
给出几个示例——在提示中给出 2~5 个输入-输出的例子,模型会模仿这些例子的格式和风格。这叫 In-Context Learning。
思维链
让模型一步步思考——在提示中加"让我们一步步思考"(Let's think step by step),显著提升推理任务的准确率。

进阶技巧

8.6 RAG 检索增强生成

RAG(Retrieval-Augmented Generation)让 LLM 能结合外部知识库回答问题,解决了 LLM 的两个核心问题:知识过时和幻觉。

RAG 的完整流程

1
知识库构建——把文档(PDF、网页、数据库)切分成小段,用 Embedding 模型把每段转换成向量,存入向量数据库(如 FAISS、Milvus、Chroma)
2
检索——用户提问时,把问题也转换成向量,在向量数据库中找到最相似的 Top-K 个文档段落
3
增强——把检索到的文档段落作为上下文,和用户的问题一起组成 Prompt
4
生成——LLM 基于检索到的文档生成回答。回答有据可查,减少幻觉
RAG 的优势 知识实时更新——更新知识库即可,不需要重新训练模型。
减少幻觉——模型基于检索到的真实文档回答,不是凭空编造。
可追溯——可以指出回答来自哪个文档,方便验证。
保护隐私——私有数据存在自己的向量数据库中,不需要发给第三方。

8.7 AI Agent

AI Agent 是当前 AI 最前沿的方向。它不只是回答问题,而是自主规划、执行、调整来完成复杂任务。

Agent 的核心组件

大模型
大脑——负责理解任务、制定计划、做出决策。GPT-4、Claude 等。
工具
手脚——搜索引擎、代码执行器、API 调用、文件读写等。Agent 通过调用工具来执行具体操作。
记忆
长期记忆——记住之前的对话、学到的知识、用户的偏好。通常用向量数据库实现。
规划
任务分解——把复杂任务拆成子任务,制定执行计划,遇到错误时调整计划。
Agent 的类比:实习生 vs 搜索引擎

搜索引擎:你问它问题,它给你一堆链接,你自己去读、去判断。
AI Agent:你告诉它"帮我调研一下竞品的定价策略,写一份报告",它自己去搜索、阅读、分析、写报告,遇到不确定的地方还会追问你。就像一个能自主工作的实习生。

9. 深度学习框架实战

理论学完了,怎么动手?这一章介绍深度学习框架的使用和模型训练的完整流程。

9.1 PyTorch 快速上手

PyTorch 是当前最流行的深度学习框架,以其灵活性和易用性著称。它的核心概念:

Tensor(张量)

PyTorch 的基本数据结构,和 NumPy 的 ndarray 类似,但可以在 GPU 上运行。

Autograd(自动求导)

PyTorch 自动帮你算梯度。你只需要定义前向传播,反向传播自动完成。

nn.Module

定义网络结构的基类。继承它,实现 forward() 方法就行。

PyTorch 的优势 动态图:代码怎么写,计算图就怎么建。方便调试,可以用 Python 的标准控制流(if/for)。
Pythonic:写起来就像写普通 Python 代码。
社区活跃:大多数新论文都先发布 PyTorch 代码。
生态完善:Hugging Face、torchvision、torchaudio 等丰富的库。

9.2 模型训练完整流程

1
准备数据——加载数据集、做预处理、划分训练/验证/测试集、创建 DataLoader(自动分 batch、打乱顺序)
2
定义模型——继承 nn.Module,定义网络层和前向传播逻辑
3
选择损失函数和优化器——分类用 CrossEntropyLoss,回归用 MSELoss;优化器通常选 Adam
4
训练循环——对每个 batch:前向传播→计算损失→反向传播→更新参数
5
验证与调优——每个 epoch 结束后在验证集上评估,监控是否过拟合
6
测试与部署——在测试集上最终评估,保存模型,部署上线

9.3 GPU 加速与分布式训练

为什么需要 GPU?

深度学习的核心计算是矩阵乘法。GPU 有几千个小型计算核心,能同时进行大量并行计算。一块 GPU 的训练速度可能是 CPU 的 10~100 倍。

单 GPU 训练

把模型和数据都移到 GPU 上:model.to('cuda'),data.to('cuda')。

多 GPU 训练

混合精度训练

用 FP16(半精度浮点数)代替 FP32(单精度)进行计算。好处:显存占用减半,计算速度提升 2~3 倍,精度损失很小。

9.4 模型部署入门

模型导出

部署方式

模型压缩

推理优化

9.5 实战项目指南

学深度学习最重要的环节是做项目。以下是几个由浅入深的实战项目,每个项目都包含完整的技术栈:

项目 1:图像分类(入门级)

1
数据集——CIFAR-10(10 类彩色图片,6 万张)或猫狗分类数据集
2
模型——先用简单的 CNN(3~5 层卷积),再尝试 ResNet-18
3
技术点——数据增强、学习率调度、早停、混淆矩阵分析
4
进阶——用预训练的 ResNet-50 微调,对比从头训练的效果

项目 2:文本情感分析(中级)

1
数据集——IMDB 电影评论(2.5 万条正面 + 2.5 万条负面)或中文外卖评论
2
模型——先用 LSTM/GRU,再用 BERT 微调
3
技术点——文本预处理、词嵌入、预训练模型加载、Tokenization
4
进阶——对比不同模型(LSTM vs BERT vs RoBERTa)的效果差异

项目 3:目标检测(高级)

1
数据集——Pascal VOC 或 COCO 的子集
2
模型——YOLOv5 或 YOLOv8(开箱即用,效果好)
3
技术点——数据标注、锚框、NMS(非极大值抑制)、mAP 评估
4
进阶——用自己的数据训练一个"检测特定物体"的模型

项目 4:大模型微调(前沿级)

1
基座模型——LLaMA 3 8B 或 Qwen 7B(开源)
2
微调方法——用 LoRA/QLoRA 微调,消费级显卡(RTX 3090/4090)即可
3
数据准备——收集"指令-回答"对,格式化为 Alpaca/ShareGPT 格式
4
工具——LLaMA-Factory、Axolotl(一站式微调框架)
项目学习法 不要等到"学完所有知识"再做项目——边做边学效率最高。
每个项目都应该做到:
1. 跑通 baseline(先让模型工作)
2. 分析错误(看哪些样本预测错了,为什么)
3. 迭代改进(调参、换模型、加数据增强)
4. 写实验报告(记录每次实验的结果和心得)
一个做完的项目比十个只看不做的教程更有价值。

10. 学习路线与资源

10.1 分阶段学习路线

第一阶段:基础(第 1-4 周)

1
Python 基础——变量、函数、类、列表推导式、文件操作。如果已经会 Python,跳过。推荐:Python 官方教程 或 廖雪峰 Python 教程。
2
NumPy 与 Pandas——矩阵运算、数据处理。这是深度学习的"基础语言"。推荐:NumPy 100 题练习。
3
数学基础——线性代数(矩阵乘法、特征值)、微积分(偏导数、链式法则)、概率论(贝叶斯、分布)。不需要精通,理解直觉即可。推荐:3Blue1Brown《线性代数的本质》和《微积分的本质》。

第二阶段:机器学习入门(第 5-8 周)

1
经典算法——用 Scikit-learn 实现线性回归、逻辑回归、决策树、随机森林、SVM。重点理解每个算法的原理和适用场景。
2
模型评估——交叉验证、混淆矩阵、精确率/召回率/F1、AUC-ROC。理解过拟合和欠拟合。
3
推荐课程——吴恩达《机器学习》(Coursera)或《机器学习》(周志华·西瓜书)。

第三阶段:深度学习核心(第 9-16 周)

1
神经网络基础——用 PyTorch 实现全连接网络、CNN、RNN。理解反向传播、优化器、正则化。
2
核心架构——深入理解 CNN(ResNet)、RNN(LSTM)、Transformer。每个架构都用代码实现一遍。
3
推荐资源——《动手学深度学习》(d2l.ai)强烈推荐,有代码有讲解有练习。

第四阶段:前沿方向(第 17+ 周)

1
选择方向——NLP(Transformer、LLM、RAG)、CV(检测、分割、生成)、多模态、强化学习。
2
做项目——参加 Kaggle 比赛、用 Hugging Face 微调模型、做一个完整的作品集。
3
读论文——从综述论文开始,逐步读具体方法的论文。不需要全读,读摘要+结论+图表。

10.2 推荐学习资源

类型资源说明
入门课程吴恩达《机器学习》(Coursera)经典入门课,通俗易懂,数学要求低
深度学习吴恩达《深度学习专项课程》系统讲解深度学习,5 门课
深度学习《动手学深度学习》(d2l.ai)有代码有讲解,交互式,强烈推荐
经典教材《深度学习》(花书,Goodfellow)深度学习的"圣经",偏理论
经典教材《机器学习》(周志华·西瓜书)覆盖面广,适合中文读者
NLPHugging Face NLP 课程免费,从基础到 Transformer
视频3Blue1Brown 系列用动画讲数学和神经网络,直觉极好
实战Kaggle 竞赛真实数据、真实问题、排行榜激励
论文arXiv + Papers With Code最新论文 + 代码实现

常用工具速查

工具用途
PyTorch深度学习框架,当前最流行,灵活易用
Hugging Face预训练模型库,NLP/CV 模型一站式
Scikit-learn经典机器学习算法
NumPy / Pandas数值计算与数据处理
Matplotlib / Seaborn数据可视化
Weights & Biases实验跟踪与可视化
Optuna超参数调优(贝叶斯优化)
Docker模型部署容器化
ONNX / TensorRT模型导出与推理加速

10.3 实战项目推荐

以下是按难度排序的实战项目推荐,每个项目都标注了涉及的技术点:

难度项目技术栈学习收获
★☆☆☆☆MNIST 手写数字识别全连接网络、PyTorch 基础理解训练流程
★★☆☆☆CIFAR-10 图像分类CNN、数据增强、学习率调度掌握 CNN 设计
★★★☆☆电影评论情感分析LSTM/BERT、词嵌入、Hugging FaceNLP 入门
★★★☆☆目标检测(YOLO)YOLOv5/v8、数据标注、mAPCV 进阶
★★★★☆图像风格迁移预训练 VGG、Gram 矩阵、损失函数设计理解特征提取
★★★★☆文本生成(GPT 微调)LoRA 微调、Hugging Face、Tokenization大模型实战
★★★★★RAG 知识问答系统Embedding、向量数据库、LLM、LangChainAgent 开发
★★★★★Stable Diffusion 微调扩散模型、LoRA、图像生成生成模型实战
Kaggle 竞赛推荐 入门:Titanic 生存预测(表格数据)、Digit Recognizer(图像分类)
中级:Dog vs Cat(图像分类)、NLP Disaster Tweets(文本分类)
高级:Cassava Leaf Disease(图像分类)、Feedback Prize(NLP)
Kaggle 的好处:真实数据、排行榜激励、社区讨论、免费 GPU(Kaggle Notebook)。

10.4 给初学者的建议

15 条实用建议
  1. 先跑通再理解——先用 PyTorch 官方教程跑一个模型,再深入理解原理
  2. 动手比看书重要——每学一个概念,就用代码实现一遍
  3. 从简单开始——先用全连接网络做 MNIST,再上 CNN、Transformer
  4. 数据比模型重要——花 80% 时间在数据上,20% 在模型上
  5. 做项目比做题好——参加 Kaggle 比赛,或用真实数据解决真实问题
  6. 不要死磕数学——先理解直觉,遇到问题再回来推公式
  7. 学会读论文——不需要全读,读摘要+结论+图表就够了
  8. 用好 Hugging Face——不要从头训练大模型,站在巨人肩膀上微调
  9. 关注工程能力——模型再好,部署不了也是白搭
  10. 加入社区——Kaggle、GitHub、知乎、Reddit 的 ML 社区
  11. 保持更新——AI 领域发展极快,每周花几小时看最新进展
  12. 不要 GPU 焦虑——Google Colab、Kaggle Notebook 都提供免费 GPU,足够入门学习
  13. 一次只改一个超参数——同时改学习率和 batch size,你不知道哪个起了作用
  14. 记录每次实验——用 W&B 或 MLflow 记录参数和结果。没有记录的调参就是浪费时间
  15. 先复现再创新——先复现一篇论文的结果,理解它的方法,再尝试改进

深度学习的本质是:用多层神经网络自动学习数据的层次化表示,从简单特征到复杂模式,逐层递进。

深度学习完整指南 · 从入门到精通的详细教程 · 2026
仅供学习与参考