神经网络
看得见的智能
从 860 亿个神经元的灵感出发,到驱动 ChatGPT 的 Transformer —— 这是一次完整的前向传播:10 层知识,每一层都能旋转、拖拽、亲手调参。不需要任何基础,只需要好奇心。
一切从一个神经元开始:感知机
你的大脑里有约 860 亿个神经元,每个神经元与周围约 5000 个神经元相连。它没有意识、不会思考,却构成了你会思考的一切。1943 年,McCulloch 和 Pitts 问道:能不能用数学描述一个神经元?这一问,问出了之后一切的开端。
把生物机制翻译成数学
上图就是真实的神经元工作方式:树突像天线一样接收来自其他神经元的电信号;胞体把这些信号加权汇总——有的信号被放大(兴奋性突触),有的被压制(抑制性突触);当汇总电位超过一个阈值,神经元就"放电",把动作电位沿轴突射向下一批神经元。接收、加权、求和、超阈值则激活——这个流程每一步都可以用最朴素的数学表达出来。
1958 年 Rosenblatt 据此造出了感知机(Perceptron):给每个输入 xi 配一个可调的权重 wi(对应突触连接强度),加权求和后加一个偏置 b(对应阈值,只是取了负号搬了家),最后过一个阶跃函数决定输出:
就这?就这。神经网络的一切,都是这条公式的反复堆叠与求导。权重 w 是可学习的参数:训练就是不断调整它们,直到网络的判断和事实吻合。下面这台实验台就是一个真实的单神经元分类器——你甚至可以直接在图上点出新的训练样本。
把神经元想成一个极端挑剔的评委:选手有若干项指标(输入),评委心里对每项指标有自己的偏爱程度(权重),最后打出的总分还要先过一个"及格线"(偏置)。调参,就是调整评委的偏好和及格线,直到 TA 的判断与真实结果一致。
试着把 w₁、w₂ 都拉到 0 附近再慢慢调开——你会看到分界线绕着图心旋转、平移。这条直线就是 w₁x₁ + w₂x₂ + b = 0:神经元的"判断标准"本身。再试试把两类点混在一起放几个,你会发现无论怎么调,总有点分不对——这正是感知机的天花板,也是通往深层网络的第一声敲门。
- 神经元 = 加权求和 + 偏置 + 激活,三者翻译自真实的生物机制
- 权重 w 与偏置 b 是可学习参数,训练 = 调整它们
- 单层感知机只能画出一条直线(线性可分),XOR 是它的死穴
非线性,是智能的来源
如果不给神经元加激活函数,把一百层网络叠起来会发生什么?令人失望的答案:等价于一层。激活函数看似只是给公式加了一个小弯,实则是整个深度学习大厦的地基——它把"直线世界"掰弯成可以逼近任意函数的曲线世界。
为什么必须有非线性
假设没有激活函数,两层网络的输出是 a = W₂(W₁x + b₁) + b₂。展开它:
两个矩阵相乘还是一个矩阵——叠一百层线性层,表达能力等同于一层。要想让网络学会"弯的"决策边界,就必须在每层之后插入一个非线性函数,把平面折出褶皱。正是褶皱让 XOR 问题迎刃而解:两层网络可以折两次纸,折出任何你想要的形状。
1989 年 Cybenko 与 Hornik 证明:只要隐藏神经元足够多,带非线性激活的单隐藏层网络可以以任意精度逼近任意连续函数。深度学习不是玄学——它有数学保证的表达力。(当然,"存在"不等于"学得到",这就是后面优化的故事了。)
一张表认识所有主流激活函数
看 3D 曲面时注意:ReLU 是一道干净的折痕(所以它高效、梯度不衰减);Sigmoid / Tanh 是平滑的缓坡(但两端平坦,梯度接近零);GELU 是 ReLU 的光滑版本,GPT、BERT 用的都是它。下面的 2D 曲线可以叠加显示导数——梯度就是沿导数回传的,导数在哪里为零,哪里就学不动。
| 函数 | 公式 | 输出范围 | 长处 | 软肋 |
|---|---|---|---|---|
| Sigmoid | σ(x) = 1/(1+e⁻ˣ) | (0, 1) | 可解释为概率,平滑 | 梯度最大仅 0.25,深层易梯度消失;输出非零中心 |
| Tanh | tanh(x) | (−1, 1) | 零中心,收敛快于 Sigmoid | 两端依然饱和 |
| ReLU | max(0, x) | [0, +∞) | 计算极快、正区间梯度恒 1,深度网络默认首选 | 负区间梯度为 0,神经元可能"死亡" |
| LeakyReLU | max(0.1x, x) | (−∞, +∞) | 负区间保留微小梯度,不易死亡 | 斜率需调 |
| GELU | x·Φ(x) | (−0.17, +∞) | 平滑、处处可导,BERT/GPT 系标配 | 计算稍贵 |
- 没有非线性,网络叠再深也只是一层线性变换
- 激活函数的几何本质:把输入空间"折叠",折出弯曲的决策边界
- 梯度 = 导数。选激活函数时必须看它的导数行为(饱和 = 学不动)
- 现代默认选择:隐藏层用 ReLU/GELU,输出层看任务
信号穿过网络:一次预测的诞生
把成千上万个"加权求和 + 激活"的神经元按层排好,让信号从输入层流向输出层——这就是前向传播。下面我们追踪一组真实数字,看它们如何穿过一个 2→3→2→1 的网络,变成一次预测。
矩阵视角:一层 = 一次坐标变换
逐个神经元地算太慢,工程上把整层写成一次矩阵乘法。权重矩阵 W 的每一行就是一个神经元的权重向量,于是每一层只做一件事:
几何上,每个线性层都在把数据旋转、拉伸、平移——重新描述一遍问题;激活函数再把它折弯。层层变换之下,最初纠缠不清的两类点,在某个"中间坐标系"里可能变得一线可分。所谓"网络学会了特征",指的正是它自己摸索出了这套有用的变换。
一个 2→3→2→1 网络有多少参数?每层的参数 = 扇入 × 扇出 + 扇出(偏置):L1 有 2×3+3=9,L2 有 3×2+2=8,L3 有 2×1+1=3,共 20 个。而 GPT-3 有 1750 亿个——同一条式 3.1,只是矩阵大了一百亿倍。
二十行代码,实现一次前向传播
下面的实现与你刚才在 3D 中看到的步骤一一对应:
function forward(x, W, b) {
let a = x; // 输入向量 [2]
const acts = [a]; // 记录每层激活值
for (let l = 0; l < W.length; l++) {
const z = matvec(W[l], a) // 加权求和 W·a
.map((v, i) => v + b[l][i]); // 加偏置 + b
a = (l === W.length - 1)
? sigmoid(z) // 输出层:Sigmoid 输出概率
: z.map(v => Math.max(0, v)); // 隐藏层:ReLU
acts.push(a);
}
return acts;
}
- 前向传播 = 逐层执行「线性变换 → 激活函数」,直到输出预测
- 整层并行计算可写成一次矩阵乘法,这是 GPU 加速的基础
- 参数量 = Σ(扇入×扇出 + 扇出),与层数和宽度成正比
预测有对错,损失是那把尺子
网络给出了预测,然后呢?我们需要一个函数,把"错得有多离谱"变成一个具体的数字——这就是损失函数 L(ŷ, y)。训练的全部目标,是让这个数字尽可能小。选对尺子,比选对网络更重要。
回归用 MSE:量出距离
预测连续值(房价、温度)时,最自然的选择是均方误差——预测值与真值之间的欧氏距离平方:
平方有两个好处:大错被重罚(错 2 倍罚 4 倍),而且处处可导、在误差为零处最平滑——这对接下来要讲的梯度下降至关重要。
分类用交叉熵:惩罚自信的错误
分类任务的输出是概率分布(上一层的 softmax 已经保证概率和为 1)。此时交叉熵是标准答案——它源自极大似然估计:最小化交叉熵 = 最大化"真实标签在模型眼中出现的概率":
注意 −log 的形状:真实类别的预测概率越接近 1,损失越接近 0;越接近 0,损失冲向无穷大。交叉熵对"自信的胡说"零容忍——这是它比 MSE 更适合分类的深层原因。拖动下面的滑块,亲手感受两种尺子性格的差异:
损失地形:把所有可能的参数画成一片山脉
固定网络结构,让每一个参数组合 (w₁, w₂) 都对应一个损失值,就得到一片损失地形——训练就是在这片地形里找谷底。下面的曲面是 4 种典型的地形:碗形(凸函数,处处有梯度指路)、鞍形(两个方向一头高一头低,梯度可能把你骗到原地打转)、多峰起伏(处处是小坑)、以及令优化算法闻风丧胆的香蕉谷 Rosenbrock。
三维里你总担心小球掉进"坑"里出不来。但在千亿维空间中,要所有方向同时向上才能形成真正的局部最优——概率微乎其微。真实的深度损失面上遍布的是鞍点和"平坦的峡谷",而它们反而常与更好的泛化能力相伴。深度学习的优化远比想象中仁慈。
- 损失函数把"错得有多离谱"量化成一个数,训练 = 让它变小
- 回归用 MSE(距离),分类用 softmax + 交叉熵(似然)
- 交叉熵对自信的错误惩罚无穷大,且与 sigmoid/softmax 是数学上的"天生一对"
- 把参数空间画成地形,训练 = 找谷底
误差回传:深度学习的发动机
知道了损失,怎么知道该把一亿个参数各自调大还是调小?1986 年 Rumelhart、Hinton 与 Williams 给出的答案震撼了学界:反向传播——让误差沿着前向传播的同一条路径逆向流回每一个参数,用微积分链式法则精确算出"每个参数该负多少责任"。
链式法则:责任层层回溯
想象一场层层转述的传话游戏:最后一句错了,那么每个人的责任 = 他传错的方向 × 下一个人的责任,逐层回溯。微积分里这叫链式法则。对参数 w,损失 L 的梯度是几个"局部导数"的连乘:
妙处在于:每个局部导数只依赖本层的局部计算,非常简单(sigmoid 的导数、乘法的导数……),而反向传播把整个网络的责任分解成这些简单片段的连乘。下图就是一条最小计算图——青色信号前向流动,品红梯度逆向回传,点击「回传一步」看 ∂L/∂w 如何被逐段算出:
梯度下降:沿最陡的下坡,一小步一小步走
拿到梯度 ∇L(指向"上坡最陡"的方向),就朝它的反方向挪一小步,反复迭代。η 是学习率——每一步的步长,整个深度学习里最重要的超参数:
η 太小:一千年走不到谷底;η 太大:一步跨过山谷,在对面的坡上越荡越高直至发散。下面让四种优化器在四片地形上同场竞技——它们都是式 5.2 的变体,区别只在"如何利用历史梯度走得更快更稳"。
| 优化器 | 更新式(简化) | 性格 |
|---|---|---|
| SGD | θ −= η·g | 裸梯度,路线最"抖",但实践里泛化常常更好 |
| Momentum | v = 0.9v + g; θ −= η·v | 给小球惯性,冲过小坑与震荡区,山谷里越跑越快 |
| RMSProp | θ −= η·g/√(E[g²]) | 为每个参数自适应步长:常走的路迈小步,生疏的路迈大步 |
| Adam | Momentum + RMSProp | 动量 + 自适应,默认首选;大模型训练的常青树 |
- 反向传播用链式法则 + 动态规划,以前向同阶的代价精确算出每个参数的梯度
- 梯度 = 上坡最陡方向,更新永远走 −η∇L
- 学习率是最重要的超参数:太小磨蹭,太大发散
- Adam = 动量 + 自适应步长,不知道选什么时的默认答案
亲手训练一个真正的神经网络
前五层的所有零件——神经元、激活、前向、损失、反向、优化器——现在装配成一台完整的训练机。这台实验台里跑着一个货真价实的多层感知机(就是你页面上那个 nn.js,每一步反向传播都是手写实现)。选个数据集,按下训练,亲眼看决策边界被梯度一步步"雕刻"成形。
训练循环:深度学习的全部日常
上面实验台每一帧都在执行这个五步循环——世界上所有深度学习训练,从识别猫到 GPT,本质都是它的放大版:
for (let epoch = 0; epoch < 10000; epoch++) {
// ① 前向传播:算出每个样本的预测
const { A } = net.forward(X);
// ② 计算损失:预测与真相的差距
const loss = crossEntropy(A.at(-1), y);
// ③ 反向传播:算出每个参数的梯度
// ④ 优化器:沿 −∇L 更新参数
lossNow = net.trainStep(X, y, lr, "adam");
// ⑤ 重复,直到损失不再下降
}
你刚才看到的一切,都有名字
决策边界从混沌到清晰的过程叫收敛;双螺旋需要一个足够"宽"或足够"深"的网络才卷得动,这叫模型容量;把层数拉到 4 层 × 16 神经元去学环形数据,训练准确率逼近 100% 但边界扭曲怪异——它开始记住噪声而不是理解规律,这叫过拟合。
欠拟合:模型太简单,训练数据都学不好——像死记硬背公式却不会做题的学生。过拟合:模型太强大,把训练数据里的噪声也背了下来——像把历年真题答案全背下来、遇到新题就崩的学生。诊断方法:留出一部分数据不参与训练(验证集),若训练损失下降而验证损失回升,就是过拟合发作。药方:更多数据、数据增强、正则化(L2 / Dropout)、或干脆换个更简单的模型。
- 训练循环 = 前向 → 损失 → 反向 → 更新,周而复始
- 容量要和数据匹配:太小欠拟合,太大易过拟合
- 用验证集诊断过拟合:训练损失降、验证损失升
- 学习率是第一超参数,任何新任务先调它
CNN:让网络看懂图像
把一张 224×224 的彩色图片喂进全连接网络,仅一层 1000 个神经元就需要 1.5 亿个参数——而且打平了图片,扔掉了所有空间结构。卷积神经网络用三个漂亮的想法解决了这一切:局部感受野、权重共享、池化。它是 2012–2020 年计算机视觉的绝对王者。
卷积:一个小小滤波器的滑动检阅
卷积层不再让每个神经元看整张图,而是拿一个 3×3 的卷积核(9 个可学习参数)在图像上滑动:每到一个位置,就把核与它覆盖的 9 个像素对应相乘再求和,得到输出图上的一个值。同一个核扫遍全图(权重共享)——参数从 1.5 亿骤降到 9 个,而且无论目标出现在图像哪个角落,都能被同一个核认出来。切换下面的核,看不同的核如何"提取不同的特征":
层叠成山:特征图的三维瀑布
真实 CNN 是几十个卷积核并行工作,每个核生成一张特征图,堆叠成体积(volume);随后池化层把体积压缩,再叠卷积,层层向上。下面的三维模型展示了一次前向传播中数据体积的形态变化:
逐层组装的特征,与一跳成名的残差
对训练好的 CNN 逐层可视化(Zeiler & Fergus, 2013),看到了惊人规律:第一层认边缘和色块,第二层认纹理,第三层认眼睛车轮等部件,第四五层已经认得整只脸、整辆车——没有任何人教过网络这个课程表,它自己从数据里长出了"由简到繁"的特征金字塔。
而 2015 年何恺明的 ResNet 解决了另一个反直觉的难题:网络不是越深越好——56 层比 20 层训练误差还高,且这不是过拟合,是退化(深网络连"抄浅网络作业"都学不会)。ResNet 的药方是给信号开一条直通车:
梯度现在可以沿 +x 的捷径无损回流,千层网络的训练从此畅通。ResNet-152 横扫 2015 年 ImageNet,错误率首次跌破人类水平——深度学习正式进入"深不见底"的时代。
- 卷积核 = 可学习的小滤波器,滑动扫描 + 权重共享,参数极少且平移不变
- 不同核提取不同特征;特征逐层由边缘组装到物体
- 池化压缩体积,换取小幅位移的鲁棒性
- 残差连接 y = F(x) + x 治愈深层退化,千层网络成为可能
RNN:给网络装上记忆
图像没有先后,但语言、语音、股价有。CNN 的头发与手掌是平权的,而"我不喜欢这部电影,但演员很努力"这句话里,词的顺序就是语义本身。循环神经网络让同一个网络单元逐个读入序列元素,并把一份"至今为止的印象"——隐藏状态——一路传递下去。
同一个细胞,读完整句话
RNN 的优雅在于:只有一个细胞,在时间上展开。每读入一个词 xt,就把旧的印象 ht−1 和新词融合,产出新印象 ht:
注意 Wh 和 Wx 在每个时间步都是同一组参数——句子再长,参数也不增多;"第 3 个词"和"第 300 个词"由同一个网络处理,这才叫真正的"理解序列"。点击播放,看一份印象如何随句子演化:
致命弱点:记性会"衰减"
训练 RNN 要沿时间反向传播(BPTT),梯度需要对 Wh 连乘整个序列长度次——L5 的老毛病在时间维度上复发。下图展示梯度幅值随步数的变化:|Wh|<1 时指数消失(20 步后衰减到亿分之一),>1 时指数爆炸。结果就是:RNN 记得住上句话,记不住上一篇课文。
LSTM:给记忆装上阀门
1997 年 Hochreiter 与 Schmidhuber 提出长短期记忆网络(LSTM):在普通细胞旁边加一条"记忆传送带"(细胞状态 c),并配三扇可学习的阀门——遗忘门决定旧记忆留多少,输入门决定新信息写入多少,输出门决定对外暴露多少。传送带以近似恒等的方式贯穿时间,梯度得以远距离存活,长依赖终于可学。
2014–2017 年,LSTM 与它的精简版 GRU 统治了机器翻译与语音识别——直到一种"用注意力取代循环"的架构登场。它的想法激进得近乎傲慢:既然循环是梯度消失的根源,为什么不把循环整个删掉?这就是最后一层的主题。
- RNN = 同一个细胞在时间上展开,隐藏状态是序列的"运行摘要"
- 参数沿时间共享,序列任意长而参数量不变
- BPTT 的梯度连乘导致消失/爆炸,长依赖学不动
- LSTM 用门控记忆传送带修复长程记忆,统治序列建模近十年
注意力是一切:Transformer
2017 年,Google 的八位研究者在一篇标题狂妄的论文里宣布:RNN 可以整个扔掉——《Attention Is All You Need》。他们提出的 Transformer 不用循环、不用卷积,只靠一种机制:让序列中的每个词直接注视所有其他词,自己决定谁重要。七年后的今天,GPT、Claude、Gemini、文心、通义……几乎你能叫上名的大模型,都是 Transformer。
自注意力:每个词发出一次"查询"
把每个词向量投影成三个角色:Query(查询)——我在找什么;Key(键)——我能提供什么标签;Value(值)——我实际携带的信息。就像检索系统:你敲下的搜索词是 Query,每本书的索引标签是 Key,书的内容是 Value。某个词的输出 = 用它的 Q 与所有词的 K 做匹配,按匹配度(点积)加权汇总所有词的 V:
除以 √dk 是防止大维度下点积过大、softmax 进入饱和区。关键在于:任意两个词之间的信息距离都是 1 步——"它"和 30 个词之前的"书"直接相连,不需要一格格传话。梯度沿任意路径无损直达,长依赖的诅咒就此解除;而且全部词的计算可并行,GPU 吃满。下面点亮一个词,看它"在看谁":
位置编码:给每个座位发一张门票
正弦位置编码用不同频率的 sin/cos 波形为每个位置生成专属指纹——低频波区分"大致在第几段",高频波区分"紧邻的两个词"。把 512 个位置 × 64 维指纹画成热图,能看到规则的干涉条纹——位置信息就这样被"编织"进词向量:
从 Transformer 到大模型:最后一层楼
完整的 Transformer 由编码器与解码器堆叠而成;后来的 GPT 只保留解码器,把任务简化为一件朴素到极致的事:预测下一个词。当这个目标遇到互联网规模的语料、上千层的堆叠与万卡 GPU," Scaling Laws "(规模定律)显现:损失随参数、数据、算力的幂律平滑下降,从不失手。于是 1750 亿参数的 GPT-3 在 2020 年学会了几十种从未被专门训练的技能,2022 年 ChatGPT 让世界一夜惊醒——而它的每一个方块,都是你在这十层里亲手摸过的零件:嵌入(L1 的向量输入)、残差与归一化(L7)、softmax 与交叉熵(L4)、Adam(L5)。
Transformer 块 = 多头自注意力(词与词交换信息)→ 逐位前馈网络(每个词独立"消化")→ 每个子层都包裹残差连接 + LayerNorm。堆 N 块,就是 GPT 的骨架;训练目标自始至终只有一行:next token prediction。
- 自注意力 = Q 查询、K 匹配、V 取值,任意两词一步直达
- 完全并行、路径全长为 1,同时解决长依赖与算力利用率
- 多头 = 多视角并行关注;位置编码补回顺序信息
- GPT = 堆叠的 Transformer 块 + 下一词预测,规模定律一路通天
八十年回望,与你的下一步
你现在站在了一次完整前向传播的终点:从 860 亿神经元的生物启发,到点亮整个时代的注意力机制。回望来路,每一次寒冬与爆发,都是同一种思想的反复证明——简单的单元 + 大量连接 + 从数据中调整,就能涌现智能。
MP 神经元
McCulloch 与 Pitts 用逻辑运算描述神经元,神经网络的思想起点。
感知机
Rosenblatt 造出可学习的感知机,《纽约时报》预言"会走路、说话的计算机"近在眼前。
第一次寒冬
《Perceptrons》证明单层无法解 XOR,经费枯竭,研究冰封十五年。
反向传播
Rumelhart、Hinton、Williams 推广反向传播,多层网络重新可以训练。
LSTM
门控记忆解决长依赖;同年 LeNet-5 进入银行处理手写支票。
AlexNet 元年
GPU + ReLU + 海量数据,ImageNet 错误率骤降 10 个百分点,深度学习复兴。
ResNet
残差连接让 152 层网络可训练,图像识别首次超越人类水平。
Transformer
《Attention Is All You Need》抛弃循环,纯注意力架构登场。
Scaling Laws
GPT-3(1750 亿参数)展现少样本能力,"大力出奇迹"有了定律。
ChatGPT
对话式 AI 两个月破亿用户,Transformer 走进每个人的口袋。
你在这里
下一次寒冬没有来,下一次爆发或许与你有关。去写代码吧。
术语急救卡
- 张量TENSOR
- 多维数组的统称:标量 0 维、向量 1 维、矩阵 2 维,图像 4 维……深度学习中一切数据的形态。
- 参数 / 超参数
- 参数(w、b)由训练学得;超参数(层数、学习率、批量大小)由人设定,训练前就要拍板。
- epoch / batch
- epoch = 全部训练数据过一遍;batch = 一次梯度更新所用的小批样本。mini-batch 是速度与稳定的折中。
- 嵌入EMBEDDING
- 把离散事物(词、用户、商品)映射为稠密向量,让"意义相近"变成"距离相近"。
- 归一化BATCH / LAYER NORM
- 把每层的激活值拉回稳定区间,缓解内部协变量偏移,让深层网络训练又快又稳。
- Dropout
- 训练时随机"罢工"一部分神经元,迫使网络不依赖任何单个神经元,是廉价的防过拟合手段。
- 正则化L2 / WEIGHT DECAY
- 在损失中惩罚过大的权重,偏好"平滑简单"的解——奥卡姆剃刀的数学化身。
- 微调FINE-TUNING
- 拿别人预训练好的模型,在你的小数据上继续训练:站在巨人的肩膀上刷题。
- Softmax
- 把任意实数向量压成和为 1 的概率分布,分类输出层的标配。
- One-hot / 交叉熵
- one-hot 是标签的标准姿势(正确类为 1 其余为 0);交叉熵度量两个分布的距离。
- 感受野RECEPTIVE FIELD
- 网络中某个神经元"看得见"的输入区域;CNN 深层神经元的感受野更大,看到更全局的模式。
- 注意力 / Q·K·V
- Q 我要找什么,K 我的标签,V 我的内容;softmax(QKᵀ/√d)V = 按相关度加权取信息。
- 温度 / 采样
- 生成式模型的"创造力旋钮":低温保守求稳,高温天马行空,温度只是 softmax 前的一个除数。
- Token
- 大模型的计量单位:一个子词、一个标点、一段字节。上下文窗口 = 一次能看多少 token。
自测:你现在应该能回答
- 为什么没有激活函数的百层网络等于一层?
- 反向传播如何用链式法则把"锅"分给每个参数?
- 学习率 0.5 和 0.0001 分别会发生什么?
- Adam 比裸 SGD 多了哪两样"智慧"?
- 卷积的三大思想如何把 1.5 亿参数砍到几千?
- LSTM 的三扇门分别管什么?
- 自注意力为什么一步直达任意距离的依赖?
- GPT 的训练目标用一句话怎么说?
继续深入(点击跳转)
3Blue1Brown · 神经网络系列 —— 最直观的直觉动画(B 站有官方搬运);
Karpathy · Neural Networks: Zero to Hero —— 从手写 micrograd 到 GPT 的代码之旅;
TensorFlow Playground —— 与本页训练场类似的官方玩具;
《动手学深度学习》 —— 中文圣经级教材,理论 + 代码双线并行;
Attention Is All You Need —— 2017 年那篇传奇论文原文。