NERVE · 神经网络知识平台
THREE.JS 实时渲染 · 完全离线可用
AN INTERACTIVE COURSE · L0 → L10 · 十层知识网络

神经网络
看得见的智能

从 860 亿个神经元的灵感出发,到驱动 ChatGPT 的 Transformer —— 这是一次完整的前向传播:10 层知识,每一层都能旋转、拖拽、亲手调参。不需要任何基础,只需要好奇心。

10 层知识章节
15 个交互实验
6 个三维场景
0 依赖离线可运行
SCROLL · 信号开始流动
L1
LAYER 01 · NEURON & PERCEPTRON

一切从一个神经元开始:感知机

你的大脑里有约 860 亿个神经元,每个神经元与周围约 5000 个神经元相连。它没有意识、不会思考,却构成了你会思考的一切。1943 年,McCulloch 和 Pitts 问道:能不能用数学描述一个神经元?这一问,问出了之后一切的开端。

三维生物神经元BIOLOGICAL NEURON · DRAG TO ORBIT
拖拽旋转 · 滚轮缩放 · 观察电信号如何流动
THREE.JS · REAL-TIME 拖拽旋转 · 滚轮缩放

把生物机制翻译成数学

上图就是真实的神经元工作方式:树突像天线一样接收来自其他神经元的电信号;胞体把这些信号加权汇总——有的信号被放大(兴奋性突触),有的被压制(抑制性突触);当汇总电位超过一个阈值,神经元就"放电",把动作电位沿轴突射向下一批神经元。接收、加权、求和、超阈值则激活——这个流程每一步都可以用最朴素的数学表达出来。

1958 年 Rosenblatt 据此造出了感知机(Perceptron):给每个输入 xi 配一个可调的权重 wi(对应突触连接强度),加权求和后加一个偏置 b(对应阈值,只是取了负号搬了家),最后过一个阶跃函数决定输出:

z = w1x1 + w2x2 + b   ,   ŷ = step(z) = 1当 z > 00当 z ≤ 0 式 1.1 · 感知机

就这?就这。神经网络的一切,都是这条公式的反复堆叠与求导。权重 w 是可学习的参数:训练就是不断调整它们,直到网络的判断和事实吻合。下面这台实验台就是一个真实的单神经元分类器——你甚至可以直接在图上点出新的训练样本。

◆ 直觉

把神经元想成一个极端挑剔的评委:选手有若干项指标(输入),评委心里对每项指标有自己的偏爱程度(权重),最后打出的总分还要先过一个"及格线"(偏置)。调参,就是调整评委的偏好和及格线,直到 TA 的判断与真实结果一致。

实验台 1 · 单神经元分类器LIVE PERCEPTRON
点击画布放置样本 · 左侧调参 · 观察分界线实时变化
误分样本0 准确率—
z = 1.00·x₁ + 1.00·x₂ + 0.00

试着把 w₁、w₂ 都拉到 0 附近再慢慢调开——你会看到分界线绕着图心旋转、平移。这条直线就是 w₁x₁ + w₂x₂ + b = 0:神经元的"判断标准"本身。再试试把两类点混在一起放几个,你会发现无论怎么调,总有点分不对——这正是感知机的天花板,也是通往深层网络的第一声敲门。

✓ 本层要点
  • 神经元 = 加权求和 + 偏置 + 激活,三者翻译自真实的生物机制
  • 权重 w 与偏置 b 是可学习参数,训练 = 调整它们
  • 单层感知机只能画出一条直线(线性可分),XOR 是它的死穴
L2
LAYER 02 · ACTIVATION FUNCTIONS

非线性,是智能的来源

如果不给神经元加激活函数,把一百层网络叠起来会发生什么?令人失望的答案:等价于一层。激活函数看似只是给公式加了一个小弯,实则是整个深度学习大厦的地基——它把"直线世界"掰弯成可以逼近任意函数的曲线世界。

为什么必须有非线性

假设没有激活函数,两层网络的输出是 a = W₂(W₁x + b₁) + b₂。展开它:

W2(W1x + b1) + b2 = (W2W1)x + (W2b1 + b2) = W′x + b′ 式 2.1 · 线性叠加仍是线性

两个矩阵相乘还是一个矩阵——叠一百层线性层,表达能力等同于一层。要想让网络学会"弯的"决策边界,就必须在每层之后插入一个非线性函数,把平面折出褶皱。正是褶皱让 XOR 问题迎刃而解:两层网络可以折两次纸,折出任何你想要的形状。

◈ 万能近似定理

1989 年 Cybenko 与 Hornik 证明:只要隐藏神经元足够多,带非线性激活的单隐藏层网络可以以任意精度逼近任意连续函数。深度学习不是玄学——它有数学保证的表达力。(当然,"存在"不等于"学得到",这就是后面优化的故事了。)

实验台 2 · 激活函数如何弯折空间z = f(w₁x + w₂y)
切换函数 · 拖动权重改变折痕方向 · 拖拽旋转
SURFACE · LIVE 拖拽旋转 · 滚轮缩放

一张表认识所有主流激活函数

看 3D 曲面时注意:ReLU 是一道干净的折痕(所以它高效、梯度不衰减);Sigmoid / Tanh 是平滑的缓坡(但两端平坦,梯度接近零);GELU 是 ReLU 的光滑版本,GPT、BERT 用的都是它。下面的 2D 曲线可以叠加显示导数——梯度就是沿导数回传的,导数在哪里为零,哪里就学不动。

实验台 3 · 函数曲线与导数f(x) AND f′(x)
勾选导数 · 悬停查看数值
函数公式输出范围长处软肋
Sigmoidσ(x) = 1/(1+e⁻ˣ)(0, 1)可解释为概率,平滑梯度最大仅 0.25,深层易梯度消失;输出非零中心
Tanhtanh(x)(−1, 1)零中心,收敛快于 Sigmoid两端依然饱和
ReLUmax(0, x)[0, +∞)计算极快、正区间梯度恒 1,深度网络默认首选负区间梯度为 0,神经元可能"死亡"
LeakyReLUmax(0.1x, x)(−∞, +∞)负区间保留微小梯度,不易死亡斜率需调
GELUx·Φ(x)(−0.17, +∞)平滑、处处可导,BERT/GPT 系标配计算稍贵
✓ 本层要点
  • 没有非线性,网络叠再深也只是一层线性变换
  • 激活函数的几何本质:把输入空间"折叠",折出弯曲的决策边界
  • 梯度 = 导数。选激活函数时必须看它的导数行为(饱和 = 学不动)
  • 现代默认选择:隐藏层用 ReLU/GELU,输出层看任务
L3
LAYER 03 · FORWARD PROPAGATION

信号穿过网络:一次预测的诞生

把成千上万个"加权求和 + 激活"的神经元按层排好,让信号从输入层流向输出层——这就是前向传播。下面我们追踪一组真实数字,看它们如何穿过一个 2→3→2→1 的网络,变成一次预测。

实验台 4 · 逐步前向传播(含真实数字)STEP-BY-STEP FORWARD PASS
单步执行 · 或自动播放 · 每个节点上都是实时算出的数值
2 → 3 → 2 → 1 NETWORK 拖拽旋转 · 滚轮缩放
→ 点击「下一步」开始
待执行…

矩阵视角:一层 = 一次坐标变换

逐个神经元地算太慢,工程上把整层写成一次矩阵乘法。权重矩阵 W 的每一行就是一个神经元的权重向量,于是每一层只做一件事:

a(l+1) = f(l)( W(l) a(l) + b(l) ) 式 3.1 · 前向传播的通式

几何上,每个线性层都在把数据旋转、拉伸、平移——重新描述一遍问题;激活函数再把它折弯。层层变换之下,最初纠缠不清的两类点,在某个"中间坐标系"里可能变得一线可分。所谓"网络学会了特征",指的正是它自己摸索出了这套有用的变换。

◆ 数一数参数

一个 2→3→2→1 网络有多少参数?每层的参数 = 扇入 × 扇出 + 扇出(偏置):L1 有 2×3+3=9,L2 有 3×2+2=8,L3 有 2×1+1=3,共 20 个。而 GPT-3 有 1750 亿个——同一条式 3.1,只是矩阵大了一百亿倍。

二十行代码,实现一次前向传播

下面的实现与你刚才在 3D 中看到的步骤一一对应:

forward.js — 前向传播
function forward(x, W, b) {
  let a = x;                      // 输入向量 [2]
  const acts = [a];               // 记录每层激活值
  for (let l = 0; l < W.length; l++) {
    const z = matvec(W[l], a)     // 加权求和  W·a
      .map((v, i) => v + b[l][i]);      // 加偏置  + b
    a = (l === W.length - 1)
      ? sigmoid(z)                // 输出层:Sigmoid 输出概率
      : z.map(v => Math.max(0, v));     // 隐藏层:ReLU
    acts.push(a);
  }
  return acts;
}
✓ 本层要点
  • 前向传播 = 逐层执行「线性变换 → 激活函数」,直到输出预测
  • 整层并行计算可写成一次矩阵乘法,这是 GPU 加速的基础
  • 参数量 = Σ(扇入×扇出 + 扇出),与层数和宽度成正比
L4
LAYER 04 · LOSS FUNCTIONS

预测有对错,损失是那把尺子

网络给出了预测,然后呢?我们需要一个函数,把"错得有多离谱"变成一个具体的数字——这就是损失函数 L(ŷ, y)。训练的全部目标,是让这个数字尽可能小。选对尺子,比选对网络更重要。

回归用 MSE:量出距离

预测连续值(房价、温度)时,最自然的选择是均方误差——预测值与真值之间的欧氏距离平方:

LMSE = 1N Σ ( yi − ŷi )2 式 4.1 · 均方误差

平方有两个好处:大错被重罚(错 2 倍罚 4 倍),而且处处可导、在误差为零处最平滑——这对接下来要讲的梯度下降至关重要。

分类用交叉熵:惩罚自信的错误

分类任务的输出是概率分布(上一层的 softmax 已经保证概率和为 1)。此时交叉熵是标准答案——它源自极大似然估计:最小化交叉熵 = 最大化"真实标签在模型眼中出现的概率":

LCE = − Σ yi log( ŷi )  ,  p = softmax(z)i = eziΣk ezk 式 4.2 · 交叉熵与 softmax

注意 −log 的形状:真实类别的预测概率越接近 1,损失越接近 0;越接近 0,损失冲向无穷大。交叉熵对"自信的胡说"零容忍——这是它比 MSE 更适合分类的深层原因。拖动下面的滑块,亲手感受两种尺子性格的差异:

实验台 5 · 两种尺子的性格差异MSE vs CROSS-ENTROPY
真实标签为「是」。拖动滑块改变模型给出的概率,看两种损失各自打多少分
MSE0.250 交叉熵0.693

损失地形:把所有可能的参数画成一片山脉

固定网络结构,让每一个参数组合 (w₁, w₂) 都对应一个损失值,就得到一片损失地形——训练就是在这片地形里找谷底。下面的曲面是 4 种典型的地形:碗形(凸函数,处处有梯度指路)、鞍形(两个方向一头高一头低,梯度可能把你骗到原地打转)、多峰起伏(处处是小坑)、以及令优化算法闻风丧胆的香蕉谷 Rosenbrock。

实验台 6 · 损失地形漫游LOSS LANDSCAPE · 3D
切换地形 · 点击曲面放置小球 · 「沿梯度走一步」执行一次梯度下降
L(w₁, w₂) SURFACE 点击曲面放置小球 · 拖拽旋转
位置(0.8, 1.2) L— 步数0
◈ 高维的善意:为什么深度网络的损失面没那么可怕

三维里你总担心小球掉进"坑"里出不来。但在千亿维空间中,要所有方向同时向上才能形成真正的局部最优——概率微乎其微。真实的深度损失面上遍布的是鞍点和"平坦的峡谷",而它们反而常与更好的泛化能力相伴。深度学习的优化远比想象中仁慈。

✓ 本层要点
  • 损失函数把"错得有多离谱"量化成一个数,训练 = 让它变小
  • 回归用 MSE(距离),分类用 softmax + 交叉熵(似然)
  • 交叉熵对自信的错误惩罚无穷大,且与 sigmoid/softmax 是数学上的"天生一对"
  • 把参数空间画成地形,训练 = 找谷底
L5
LAYER 05 · BACKPROPAGATION & GRADIENT DESCENT

误差回传:深度学习的发动机

知道了损失,怎么知道该把一亿个参数各自调大还是调小?1986 年 Rumelhart、Hinton 与 Williams 给出的答案震撼了学界:反向传播——让误差沿着前向传播的同一条路径逆向流回每一个参数,用微积分链式法则精确算出"每个参数该负多少责任"。

链式法则:责任层层回溯

想象一场层层转述的传话游戏:最后一句错了,那么每个人的责任 = 他传错的方向 × 下一个人的责任,逐层回溯。微积分里这叫链式法则。对参数 w,损失 L 的梯度是几个"局部导数"的连乘:

∂L/∂w = ∂L/∂ŷ · ∂ŷ/∂z · ∂z/∂w 式 5.1 · 链式法则:每段都是"局部导数"

妙处在于:每个局部导数只依赖本层的局部计算,非常简单(sigmoid 的导数、乘法的导数……),而反向传播把整个网络的责任分解成这些简单片段的连乘。下图就是一条最小计算图——青色信号前向流动,品红梯度逆向回传,点击「回传一步」看 ∂L/∂w 如何被逐段算出:

实验台 7 · 计算图上的链式法则COMPUTATIONAL GRAPH
前向算值(青)→ 反向传梯度(品红)· 单步观察每段局部导数
点击「回传一步」开始…

梯度下降:沿最陡的下坡,一小步一小步走

拿到梯度 ∇L(指向"上坡最陡"的方向),就朝它的反方向挪一小步,反复迭代。η 是学习率——每一步的步长,整个深度学习里最重要的超参数:

θt+1 = θt − η ∇L(θt) 式 5.2 · 梯度下降

η 太小:一千年走不到谷底;η 太大:一步跨过山谷,在对面的坡上越荡越高直至发散。下面让四种优化器在四片地形上同场竞技——它们都是式 5.2 的变体,区别只在"如何利用历史梯度走得更快更稳"。

实验台 8 · 优化器赛马场OPTIMIZER GRAND PRIX
四球同场竞速 · 切换地形与学习率 · 观察轨迹的性格差异
SGD— Momentum— RMSProp— Adam—
格中数字 = 当前损失 L · 等高线越密坡越陡
优化器更新式(简化)性格
SGDθ −= η·g裸梯度,路线最"抖",但实践里泛化常常更好
Momentumv = 0.9v + g; θ −= η·v给小球惯性,冲过小坑与震荡区,山谷里越跑越快
RMSPropθ −= η·g/√(E[g²])为每个参数自适应步长:常走的路迈小步,生疏的路迈大步
AdamMomentum + RMSProp动量 + 自适应,默认首选;大模型训练的常青树
✓ 本层要点
  • 反向传播用链式法则 + 动态规划,以前向同阶的代价精确算出每个参数的梯度
  • 梯度 = 上坡最陡方向,更新永远走 −η∇L
  • 学习率是最重要的超参数:太小磨蹭,太大发散
  • Adam = 动量 + 自适应步长,不知道选什么时的默认答案
L6
LAYER 06 · THE TRAINING LAB

亲手训练一个真正的神经网络

前五层的所有零件——神经元、激活、前向、损失、反向、优化器——现在装配成一台完整的训练机。这台实验台里跑着一个货真价实的多层感知机(就是你页面上那个 nn.js,每一步反向传播都是手写实现)。选个数据集,按下训练,亲眼看决策边界被梯度一步步"雕刻"成形。

实验台 9 · 神经网络训练场MLP TRAINING LAB · LIVE BACKPROP
全部在本页实时计算 · 无任何服务器参与
背景色 = 网络当前对每一点的判断(越鲜艳越自信)· 点击画布可追加样本!
NETWORK · 权重图(线越粗 |w| 越大,青 = 正,品红 = 负)
LOSS CURVE · 交叉熵损失(对数轴)
轮次0 损失— 准确率—

训练循环:深度学习的全部日常

上面实验台每一帧都在执行这个五步循环——世界上所有深度学习训练,从识别猫到 GPT,本质都是它的放大版:

train.js — 训练主循环
for (let epoch = 0; epoch < 10000; epoch++) {
  // ① 前向传播:算出每个样本的预测
  const { A } = net.forward(X);
  // ② 计算损失:预测与真相的差距
  const loss = crossEntropy(A.at(-1), y);
  // ③ 反向传播:算出每个参数的梯度
  // ④ 优化器:沿 −∇L 更新参数
  lossNow = net.trainStep(X, y, lr, "adam");
  // ⑤ 重复,直到损失不再下降
}

你刚才看到的一切,都有名字

决策边界从混沌到清晰的过程叫收敛;双螺旋需要一个足够"宽"或足够"深"的网络才卷得动,这叫模型容量;把层数拉到 4 层 × 16 神经元去学环形数据,训练准确率逼近 100% 但边界扭曲怪异——它开始记住噪声而不是理解规律,这叫过拟合。

⚠ 过拟合与欠拟合:记忆 vs 理解

欠拟合:模型太简单,训练数据都学不好——像死记硬背公式却不会做题的学生。过拟合:模型太强大,把训练数据里的噪声也背了下来——像把历年真题答案全背下来、遇到新题就崩的学生。诊断方法:留出一部分数据不参与训练(验证集),若训练损失下降而验证损失回升,就是过拟合发作。药方:更多数据、数据增强、正则化(L2 / Dropout)、或干脆换个更简单的模型。

✓ 本层要点
  • 训练循环 = 前向 → 损失 → 反向 → 更新,周而复始
  • 容量要和数据匹配:太小欠拟合,太大易过拟合
  • 用验证集诊断过拟合:训练损失降、验证损失升
  • 学习率是第一超参数,任何新任务先调它
L7
LAYER 07 · CONVOLUTIONAL NEURAL NETWORKS

CNN:让网络看懂图像

把一张 224×224 的彩色图片喂进全连接网络,仅一层 1000 个神经元就需要 1.5 亿个参数——而且打平了图片,扔掉了所有空间结构。卷积神经网络用三个漂亮的想法解决了这一切:局部感受野、权重共享、池化。它是 2012–2020 年计算机视觉的绝对王者。

卷积:一个小小滤波器的滑动检阅

卷积层不再让每个神经元看整张图,而是拿一个 3×3 的卷积核(9 个可学习参数)在图像上滑动:每到一个位置,就把核与它覆盖的 9 个像素对应相乘再求和,得到输出图上的一个值。同一个核扫遍全图(权重共享)——参数从 1.5 亿骤降到 9 个,而且无论目标出现在图像哪个角落,都能被同一个核认出来。切换下面的核,看不同的核如何"提取不同的特征":

实验台 10 · 卷积滑动演示器CONVOLUTION · CELL BY CELL
选择卷积核 · 观察它逐格扫描输入图并生成特征图
选择一个卷积核,点击「扫描」…

层叠成山:特征图的三维瀑布

真实 CNN 是几十个卷积核并行工作,每个核生成一张特征图,堆叠成体积(volume);随后池化层把体积压缩,再叠卷积,层层向上。下面的三维模型展示了一次前向传播中数据体积的形态变化:

实验台 11 · CNN 数据体积FEATURE MAP VOLUMES · 3D
拖拽旋转 · 每一片都是一张特征图
INPUT → CONV → POOL → CONV → DENSE 拖拽旋转 · 滚轮缩放

逐层组装的特征,与一跳成名的残差

对训练好的 CNN 逐层可视化(Zeiler & Fergus, 2013),看到了惊人规律:第一层认边缘和色块,第二层认纹理,第三层认眼睛车轮等部件,第四五层已经认得整只脸、整辆车——没有任何人教过网络这个课程表,它自己从数据里长出了"由简到繁"的特征金字塔。

而 2015 年何恺明的 ResNet 解决了另一个反直觉的难题:网络不是越深越好——56 层比 20 层训练误差还高,且这不是过拟合,是退化(深网络连"抄浅网络作业"都学不会)。ResNet 的药方是给信号开一条直通车:

y = F(x) + x  (跳跃连接:学"增量"而非"全量") 式 7.1 · 残差连接

梯度现在可以沿 +x 的捷径无损回流,千层网络的训练从此畅通。ResNet-152 横扫 2015 年 ImageNet,错误率首次跌破人类水平——深度学习正式进入"深不见底"的时代。

✓ 本层要点
  • 卷积核 = 可学习的小滤波器,滑动扫描 + 权重共享,参数极少且平移不变
  • 不同核提取不同特征;特征逐层由边缘组装到物体
  • 池化压缩体积,换取小幅位移的鲁棒性
  • 残差连接 y = F(x) + x 治愈深层退化,千层网络成为可能
L8
LAYER 08 · RECURRENT NEURAL NETWORKS

RNN:给网络装上记忆

图像没有先后,但语言、语音、股价有。CNN 的头发与手掌是平权的,而"我不喜欢这部电影,但演员很努力"这句话里,词的顺序就是语义本身。循环神经网络让同一个网络单元逐个读入序列元素,并把一份"至今为止的印象"——隐藏状态——一路传递下去。

同一个细胞,读完整句话

RNN 的优雅在于:只有一个细胞,在时间上展开。每读入一个词 xt,就把旧的印象 ht−1 和新词融合,产出新印象 ht:

ht = tanh( Wh ht−1 + Wx xt + b ) 式 8.1 · 循环单元(h₀ 通常为零向量)

注意 Wh 和 Wx 在每个时间步都是同一组参数——句子再长,参数也不增多;"第 3 个词"和"第 300 个词"由同一个网络处理,这才叫真正的"理解序列"。点击播放,看一份印象如何随句子演化:

实验台 12 · 循环展开:逐词读入一句话UNROLLED RNN · SENTIMENT
观察隐藏状态 h 如何随词更新,最终读出情感
…等待读入

致命弱点:记性会"衰减"

训练 RNN 要沿时间反向传播(BPTT),梯度需要对 Wh 连乘整个序列长度次——L5 的老毛病在时间维度上复发。下图展示梯度幅值随步数的变化:|Wh|<1 时指数消失(20 步后衰减到亿分之一),>1 时指数爆炸。结果就是:RNN 记得住上句话,记不住上一篇课文。

实验台 13 · 梯度随时间的消失与爆炸VANISHING / EXPLODING GRADIENTS
对数纵轴 · 观察不同 |Wₕ| 下梯度穿越 60 个时间步的命运
|Wₕ| = 0.5衰减 |Wₕ| = 0.9衰减 |Wₕ| = 1.0守恒 |Wₕ| = 1.1爆炸

LSTM:给记忆装上阀门

1997 年 Hochreiter 与 Schmidhuber 提出长短期记忆网络(LSTM):在普通细胞旁边加一条"记忆传送带"(细胞状态 c),并配三扇可学习的阀门——遗忘门决定旧记忆留多少,输入门决定新信息写入多少,输出门决定对外暴露多少。传送带以近似恒等的方式贯穿时间,梯度得以远距离存活,长依赖终于可学。

2014–2017 年,LSTM 与它的精简版 GRU 统治了机器翻译与语音识别——直到一种"用注意力取代循环"的架构登场。它的想法激进得近乎傲慢:既然循环是梯度消失的根源,为什么不把循环整个删掉?这就是最后一层的主题。

✓ 本层要点
  • RNN = 同一个细胞在时间上展开,隐藏状态是序列的"运行摘要"
  • 参数沿时间共享,序列任意长而参数量不变
  • BPTT 的梯度连乘导致消失/爆炸,长依赖学不动
  • LSTM 用门控记忆传送带修复长程记忆,统治序列建模近十年
L9
LAYER 09 · ATTENTION & TRANSFORMER

注意力是一切:Transformer

2017 年,Google 的八位研究者在一篇标题狂妄的论文里宣布:RNN 可以整个扔掉——《Attention Is All You Need》。他们提出的 Transformer 不用循环、不用卷积,只靠一种机制:让序列中的每个词直接注视所有其他词,自己决定谁重要。七年后的今天,GPT、Claude、Gemini、文心、通义……几乎你能叫上名的大模型,都是 Transformer。

自注意力:每个词发出一次"查询"

把每个词向量投影成三个角色:Query(查询)——我在找什么;Key(键)——我能提供什么标签;Value(值)——我实际携带的信息。就像检索系统:你敲下的搜索词是 Query,每本书的索引标签是 Key,书的内容是 Value。某个词的输出 = 用它的 Q 与所有词的 K 做匹配,按匹配度(点积)加权汇总所有词的 V:

Attention(Q, K, V) = softmax( QKT / √dk )V 式 9.1 · 缩放点积注意力

除以 √dk 是防止大维度下点积过大、softmax 进入饱和区。关键在于:任意两个词之间的信息距离都是 1 步——"它"和 30 个词之前的"书"直接相连,不需要一格格传话。梯度沿任意路径无损直达,长依赖的诅咒就此解除;而且全部词的计算可并行,GPU 吃满。下面点亮一个词,看它"在看谁":

实验台 14 · 点亮一个词,看它在看谁SELF-ATTENTION · CLICK A TOKEN
权重为本实验台人工构造的演示值,用于建立直觉

位置编码:给每个座位发一张门票

正弦位置编码用不同频率的 sin/cos 波形为每个位置生成专属指纹——低频波区分"大致在第几段",高频波区分"紧邻的两个词"。把 512 个位置 × 64 维指纹画成热图,能看到规则的干涉条纹——位置信息就这样被"编织"进词向量:

实验台 15 · 正弦位置编码热图POSITIONAL ENCODING
横轴 = 向量维度 · 纵轴 = 词的位置 0–63

从 Transformer 到大模型:最后一层楼

完整的 Transformer 由编码器与解码器堆叠而成;后来的 GPT 只保留解码器,把任务简化为一件朴素到极致的事:预测下一个词。当这个目标遇到互联网规模的语料、上千层的堆叠与万卡 GPU," Scaling Laws "(规模定律)显现:损失随参数、数据、算力的幂律平滑下降,从不失手。于是 1750 亿参数的 GPT-3 在 2020 年学会了几十种从未被专门训练的技能,2022 年 ChatGPT 让世界一夜惊醒——而它的每一个方块,都是你在这十层里亲手摸过的零件:嵌入(L1 的向量输入)、残差与归一化(L7)、softmax 与交叉熵(L4)、Adam(L5)。

◈ 架构速记

Transformer 块 = 多头自注意力(词与词交换信息)→ 逐位前馈网络(每个词独立"消化")→ 每个子层都包裹残差连接 + LayerNorm。堆 N 块,就是 GPT 的骨架;训练目标自始至终只有一行:next token prediction。

✓ 本层要点
  • 自注意力 = Q 查询、K 匹配、V 取值,任意两词一步直达
  • 完全并行、路径全长为 1,同时解决长依赖与算力利用率
  • 多头 = 多视角并行关注;位置编码补回顺序信息
  • GPT = 堆叠的 Transformer 块 + 下一词预测,规模定律一路通天
L10
LAYER 10 · THE FULL PICTURE

八十年回望,与你的下一步

你现在站在了一次完整前向传播的终点:从 860 亿神经元的生物启发,到点亮整个时代的注意力机制。回望来路,每一次寒冬与爆发,都是同一种思想的反复证明——简单的单元 + 大量连接 + 从数据中调整,就能涌现智能。

1943

MP 神经元

McCulloch 与 Pitts 用逻辑运算描述神经元,神经网络的思想起点。

McCULLOCH · PITTS
1958

感知机

Rosenblatt 造出可学习的感知机,《纽约时报》预言"会走路、说话的计算机"近在眼前。

ROSENBLATT
1969

第一次寒冬

《Perceptrons》证明单层无法解 XOR,经费枯竭,研究冰封十五年。

MINSKY · PAPERT
1986

反向传播

Rumelhart、Hinton、Williams 推广反向传播,多层网络重新可以训练。

RUMELHART · HINTON · WILLIAMS
1997

LSTM

门控记忆解决长依赖;同年 LeNet-5 进入银行处理手写支票。

HOCHREITER · SCHMIDRHUBER
2012

AlexNet 元年

GPU + ReLU + 海量数据,ImageNet 错误率骤降 10 个百分点,深度学习复兴。

KRIZHEVSKY · SUTSKEVER · HINTON
2015

ResNet

残差连接让 152 层网络可训练,图像识别首次超越人类水平。

HE KAIMING ET AL.
2017

Transformer

《Attention Is All You Need》抛弃循环,纯注意力架构登场。

VASWANI ET AL. · GOOGLE
2020

Scaling Laws

GPT-3(1750 亿参数)展现少样本能力,"大力出奇迹"有了定律。

BROWN ET AL. · OPENAI
2022

ChatGPT

对话式 AI 两个月破亿用户,Transformer 走进每个人的口袋。

OPENAI
现在

你在这里

下一次寒冬没有来,下一次爆发或许与你有关。去写代码吧。

→ FORWARD PASS CONTINUES

术语急救卡

张量TENSOR
多维数组的统称:标量 0 维、向量 1 维、矩阵 2 维,图像 4 维……深度学习中一切数据的形态。
参数 / 超参数
参数(w、b)由训练学得;超参数(层数、学习率、批量大小)由人设定,训练前就要拍板。
epoch / batch
epoch = 全部训练数据过一遍;batch = 一次梯度更新所用的小批样本。mini-batch 是速度与稳定的折中。
嵌入EMBEDDING
把离散事物(词、用户、商品)映射为稠密向量,让"意义相近"变成"距离相近"。
归一化BATCH / LAYER NORM
把每层的激活值拉回稳定区间,缓解内部协变量偏移,让深层网络训练又快又稳。
Dropout
训练时随机"罢工"一部分神经元,迫使网络不依赖任何单个神经元,是廉价的防过拟合手段。
正则化L2 / WEIGHT DECAY
在损失中惩罚过大的权重,偏好"平滑简单"的解——奥卡姆剃刀的数学化身。
微调FINE-TUNING
拿别人预训练好的模型,在你的小数据上继续训练:站在巨人的肩膀上刷题。
Softmax
把任意实数向量压成和为 1 的概率分布,分类输出层的标配。
One-hot / 交叉熵
one-hot 是标签的标准姿势(正确类为 1 其余为 0);交叉熵度量两个分布的距离。
感受野RECEPTIVE FIELD
网络中某个神经元"看得见"的输入区域;CNN 深层神经元的感受野更大,看到更全局的模式。
注意力 / Q·K·V
Q 我要找什么,K 我的标签,V 我的内容;softmax(QKᵀ/√d)V = 按相关度加权取信息。
温度 / 采样
生成式模型的"创造力旋钮":低温保守求稳,高温天马行空,温度只是 softmax 前的一个除数。
Token
大模型的计量单位:一个子词、一个标点、一段字节。上下文窗口 = 一次能看多少 token。

自测:你现在应该能回答

  • 为什么没有激活函数的百层网络等于一层?
  • 反向传播如何用链式法则把"锅"分给每个参数?
  • 学习率 0.5 和 0.0001 分别会发生什么?
  • Adam 比裸 SGD 多了哪两样"智慧"?
  • 卷积的三大思想如何把 1.5 亿参数砍到几千?
  • LSTM 的三扇门分别管什么?
  • 自注意力为什么一步直达任意距离的依赖?
  • GPT 的训练目标用一句话怎么说?

继续深入(点击跳转)

3Blue1Brown · 神经网络系列 —— 最直观的直觉动画(B 站有官方搬运);
Karpathy · Neural Networks: Zero to Hero —— 从手写 micrograd 到 GPT 的代码之旅;
TensorFlow Playground —— 与本页训练场类似的官方玩具;
《动手学深度学习》 —— 中文圣经级教材,理论 + 代码双线并行;
Attention Is All You Need —— 2017 年那篇传奇论文原文。