Stanford CS229 · Machine Learning · Spring 2026 · 主讲 Tengyu Ma

从分词到注意力:
看懂 GPT 是怎么搭起来的

那条热传推文里的 2 小时 34 分视频,其实是两节课拼接的合集:先讲 Transformer 与大语言模型,再补神经网络的底子。本页把两节课的板书整理成 13 块白板笔记,全部时间戳可点击跳转到官方视频对应片段。

拼接时间轴 · 1:17:31 处是两节课的接缝(合集顺序:先 LLM,后神经网络;课程顺序正好相反)

Lecture 14 · Transformers 与上下文学习 · 77 分钟 Neural Networks 1 · 80 分钟
0:001:17:31 拼接点2:34:52
第一节 · 0:00 – 1:17:31

Lecture 14 · Transformers 与 In-Context Learning

从零手推"ChatGPT 这类模型每一步在算什么":文本怎么变成数字,概率怎么分解,注意力为什么长这样。全课板书推导,穿插高质量课堂问答。

▶ 在 YouTube 打开这一节
板 01

分词 Tokenization 与 BPE

▶ 0:01–0:10
  • Transformer 只吃数字,第一步是把文本切成 token。切法决定了模型的"词汇":字符级太碎、步数太多;整词级又对付不了生僻长词。
  • 关键例子:internationalization 若算一个整词,就与 internationalized、nation 毫不相干,学一个要单独见很多次;自造词 LLMefication 拆成 LLM + -ification 两个子词后,模型凭已有理解就能组合出词义,几乎零成本学会新词。德语、生物医学长词同理(词的每一段各有含义)。
  • 所以现代 LLM 用子词词表:约 10 万–25 万个子词(课上提到 Qwen 3.5 词表约 25 万),每个 token 对应一个 ID,文本 = ID 序列。
  • 词表怎么来的:BPE(Byte-Pair Encoding,字节对编码)——一个贪心算法,从字符出发反复合并语料中最高频的相邻单元,逐步长出子词表。
  • 每家模型有自己的 tokenizer。可以在线上玩 OpenAI Tokenizer 看任意文本如何被切开。

边角 课上顺带提到:Claude 最近把 tokenizer 改得更细,同样一段文本会切成更多 token——按 token 计费意味着更贵。

板 02

自回归语言模型:链式法则分解

▶ 0:11–0:26
  • 长度 T 的序列有 |V|T 种可能,不可能给每个序列单独一个概率。解法是用链式法则把联合分布拆成一串条件分布,每个条件分布只在一个 token 上取 |V| 种取值:
p(x₁,…,xT) = ∏t p(xt | x₁,…,xt−1)
"预测下一个词"本身就是一种完整的语言模型
  • 每个条件分布由同一个 Transformer 参数化:token ID 先查 embedding 矩阵(每行一个 d 维可训练向量),句首加 BOS 等特殊 token(词表会预留上千个特殊位),过 Transformer 后每个位置输出 |V| 维 logits,softmax 即下一个 token 的概率分布。
  • 课程全程用行向量记号(与代码实现一致);embedding 只依赖 token 本身,就是查表,与位置和上下文无关。
  • 强调因果性:第 t 个位置的输出 ut 只允许是 x₀…xt−1 的函数——这条约束后面靠掩码实现。
板 03

训练与解码:损失、温度与 top-k

▶ 0:26–0:39
  • 训练目标:负对数似然。对整条序列求 −Σ log p(xt|x<t),取 softmax 后真实 token 那一项,交给 SGD / Adam 当黑盒优化。
  • 解码是自回归循环:从 BOS 出发采样一个 token → 拼回输入 → 再采样下一个;给定 prompt 时,就是从第 k+1 个位置开始续写。这就是"autoregressive(自回归)"的含义:算似然时整条序列已知,生成时却要自己一步步吐出来。
  • 温度 temperature:把 logits 除以 τ 再 softmax。它不改变 token 之间的排序,只改变分布形状——τ 很小时分布急剧尖锐化,退化为确定性输出(取最大者);API 里 temperature=0 就是每次贪心选最可能的词;τ>1 则分布变软,长尾 token 更容易被采到,输出更多样。
  • top-k 采样:只在概率最高的 k 个 token 里重新归一化后采样,避免采到莫名其妙的罕见词。讲义里还有更多采样变体。
softmax(2, 1, −1) ≈ (0.67, 0.24, 0.09)
softmax(200, 100, −100) ≈ (1, 0, 0)
除以很小的 τ = 把 logits 放大 = 分布变尖锐
板 04

Transformer 总骨架:注意力与 MLP 交替

▶ 0:39–0:43
  • 整个模型是多层"注意力 → MLP"交替堆叠:输入一串向量,注意力把信息在位置之间融合,输出还是一串向量;MLP 再对每个位置独立加工;如此往复,最后输出 logits。
  • MLP 是每个位置独立的两层小网络(带特殊激活函数),参数量与序列长度 T 无关;位置之间唯一交换信息的通道就是注意力。
  • 整个网络虽然结构复杂,仍是基本算子的组合,端到端自动微分直接训练。
课堂问答为什么不能只用 MLP?——去掉注意力后,各位置之间没有任何交互,等于对每个词单独跑一个网络,永远学不到词与词之间的依赖与语义。
板 05

注意力机制:逐行推导

▶ 0:43–1:06
  • 每个位置的向量 h 分别乘三个可学习矩阵,得到三样东西:query(查询)、key(键)、value(值):qt=htWQ,kt=htWK,vt=htWV。
  • 直觉:处理第 t 个位置时,拿它的 query 与所有位置的 key 做内积打分——"内积越大 = 越该关注谁";分数过 softmax 变成一组注意力权重;输出就是对所有 value 的加权平均。
  • 矩阵形式(行 softmax)与因果掩码:不带掩码时第 t 行能看到未来,违反自回归。做法是在 QKT 矩阵上三角全部加 −∞,softmax 后这些位置权重精确为 0,剩下的权重自动重新归一化——"只看过去"由此实现。
  • WQ、WK、WV 全部由训练学出来:给模型一个"关注机制"的模板,怎么关注让它自己学。
Attention: hout = softmax(QKT/c) · V
上三角加 −∞ ⇒ softmax 后为 0 ⇒ 只对历史位置归一化
课堂问答为什么不用一个巨型 MLP 吃下整条拼接序列?——参数量随 T 爆炸(百万长度即不可行),而且换个序列长度就得换网络;注意力机制的参数量与 T 无关,长度自由。CNN 也是历史上的备选方案:能用,只是不如注意力好。
课堂问答结构与自由度的平衡——完全自由(巨型 MLP)太贵;规定太死(直接平均、零参数)又没表达力。注意力是在"先验结构"与"可学习自由度"之间取的一个平衡点。
板 06

多头注意力:分工与合作

▶ 1:06–1:12
  • 实际不止一个"头":并行跑多组权重各不相同的单头注意力,各头输出拼接后乘一个投影矩阵融合成最终输出。
  • 直觉上每个头有自己的分工:一个头找前文里的实体,一个头追踪情感,一个头处理指代……多组注意力覆盖不同类型的信息,再聚合。
  • 头数大致随模型规模增长,千亿参数模型可以有上百个头;所有头完全并行,一次算完。
板 07

复杂度与工程现实:长上下文为什么贵

▶ 1:12–1:17
  • 每一层外面还包着残差连接 + RMSNorm(归一化放注意力/MLP 之前还是之后,即 pre-norm 与 post-norm,细节见课程讲义)。
  • 注意力分数矩阵是 T×T 的,计算量 O(T²)——这就是长上下文昂贵的根源。ChatGPT、Claude Code 里"让我压缩一下上下文"的提示,根因就在这里。
  • Flash Attention:分块计算、不把整个 T×T 矩阵物化到显存,大幅降低内存占用。
  • 还有各种把 T² 压到近似线性的注意力变体,但表达力会受损,可能掉性能;OpenAI、Anthropic 内部具体用哪种,讲者坦言外界并不确切知道。

预告 后续课:ML Systems 专场讲如何把 Transformer 在 GPU 上跑快;还要补强化学习——不讲 RL 就没法讲现代推理模型(o1/R1 类)。

第二节 · 1:17:31 – 2:34:52

Lecture 7 · Neural Networks 1(架构篇)

合集把这门课第 7 节(深度学习入门上篇)接在后面,把第一节里用到的"神经网络"底子补齐:ReLU、多层网络、残差连接、RMSNorm——你在第一节看到的那些零件,都是这里定义的。

▶ 在 YouTube 打开这一节
板 08

监督学习框架:损失函数

▶ 0:02–0:21
  • 数据集 {(x(i), y(i))}:上标索引样本,下标索引维度。整门课的通用流程:定义模型 hθ → 定义每个样本的损失 → 平均 → 用优化器最小化。
  • 回归:均方误差 J=(y−h(x))²。现场推导了它等价于高斯噪声假设下的极大似然:假设 y=h(x)+ε,ε~N(0,σ²),取负对数似然后常数与系数不影响优化。
  • 多分类:模型输出 k 维 logits,softmax 变成概率分布,取真实类别那一项的负对数——就是交叉熵损失(PyTorch 里直接叫 CrossEntropyLoss)。
  • 为什么叫"交叉熵":对真实标签分布取期望后,这个损失恰好等于模型分布与真实分布之间的交叉熵。
  • 关键区分:要学的是对参数 θ 非线性的模型。θ₁x₁² 这种只是"对输入非线性",换元 z=x² 就回到线性,学不到新东西;θ₁²x₁ 这种对参数非线性才需要新的技术。
  • one-hot 向量写法与离散标号写法等价,只是记号不同。
回归:MSE = (y − hθ(x))² ↔ 高斯假设的 MLE
分类:ℓ = −log [ exp(hθ(x)y) / Σj exp(hθ(x)j) ]
板 09

优化:GD → SGD → mini-batch

▶ 0:21–0:35
  • 非凸损失不能用牛顿法;梯度下降每次用全量梯度,但数据规模大到不可能——"2015 年是百万级样本,2026 年是万亿级 token"。
  • SGD 的合法性:随机抽一个样本算的梯度,是全量平均梯度的无偏估计(期望严格相等);单步有噪声,但平均下来方向正确,轨迹大致沿着梯度下降的路径走。
  • 为什么稀疏采样反而合理:各样本的梯度高度相关("每个样本都指向同一个方向,没必要全算一遍");且优化动态中的小错误会被后续步骤不断冲正。
  • mini-batch:单个样本太噪、GPU 利用率也太低(上万张卡算一个样本,大部分在空转),折中方案是每次抽 B 个样本平均——这就是实践中说的 SGD。
θ ← θ − η · (1/B) Σj=1…B ∇J(j)(θ)
mini-batch SGD:深度学习真正在用的那条公式
课堂问答不担心陷进局部最优吗?——高维空间里,局部最优要求 Hessian 在所有方向都半正定,这是极苛刻的条件;梯度为零本身已是 D 个强约束。理论(包括讲者参与的工作,用微分几何工具计数)表明坏局部最优极少,可能所有局部最优都是全局最优。类比:2D 滑雪容易卡进坑里,高维的山上你几乎总能找到继续下行的谷。
板 10

从 ReLU 到一个神经元

▶ 0:36–0:55
  • 房价例子:价格非负、先平后涨,线性模型拟合不了 → 需要 max(wx+b, 0)+c 这样的折线函数 → 引出 ReLU = max(t, 0),深度学习最基本的原语。
  • "激活函数"这个名字来自生物学:神经元过阈值才放电,低于阈值不响应——早期神经网络因此用 sigmoid;后来发现 ReLU 计算上更实用。
  • 一个神经元 = ReLU(wTx + b):高维输入、标量输出。这也是"一层网络"。
  • m 个神经元并列:aj = ReLU(wjTx + bj),再把 a₁…am 线性组合起来——两层网络。每个中间变量像一个"可学习的特征"(课件例子:房价 → 可步行性、学区质量 → 价格)。
a = ReLU(W₁x + b₁) → h(x) = W₂Ta + b₂
参数量:md + m(m 个神经元、输入维度 d)
  • 记法要点:逐元素 ReLU 直接作用于向量;权重上标 [1]、[2] 区分层级;留意行向量/列向量的约定。
板 11

激活函数图册与"层层堆叠"

▶ 0:55–1:03
  • 激活函数都是 R→R 的函数、逐元素作用于向量:sigmoid、tanh、leaky ReLU、GELU(GELU 会轻微下沉到零以下再上扬)。
  • 选哪个?"有点像魔法":讲者坦言没有根本理论,经验上某种程度平滑的函数(GELU 类)效果更好,ReLU 不够平滑;有时是稳定性考虑,有时就是试错试出来的。
  • 抽象记法:MMw,b(z) = Wz+b(矩阵乘法层),一层 = 矩阵乘法 + 激活 σ;层数 = 矩阵乘法的次数;每层的 W、b 各自独立,用上标 [1]、[2]… 编号。
  • 维度兼容规则:输入维度由数据决定——语言是 25 万词表先压到约 2k 维,视觉是 RGB 三通道的 256×256;中间维度可自由选择,通常先收缩再长期保持。
  • "MLP(多层感知机)"就是把一两层这样的组件打包后的叫法。
h = σ( MMw,b( MMw,b( … MMw,b(x) … ) ) )
深度 = 矩阵乘法与激活函数的交替复合
板 12

残差连接:ResNet

▶ 1:05–1:10
  • 2015 年 ResNet 论文引入:块输出 = 输入 + 两层网络的输出,即让网络只学"残差(修正量)"。要求块内不改维度,输入输出同形,才能直接相加。
  • 动机:如果中间表示 z 已经接近目标 y,那学 y−z 这个小修正,比从零学 y 容易得多——任务更简单,网络只需拟合差异。
  • 为什么块里是两层而不是一层?试出来的(两三层最好),深层原因至今没有公认解释。
  • 另一类解释:优化视角——加上 z 这条"直通路"让损失面更良态(well-conditioned)、更好优化;讲者自己也发过相关论文,并坦言几种解释都"有一定道理,很难说哪个才是真正对的"。
y = z + σ( MM( σ( MM(z) ) ) )
网络只学残差;整个 ResNet = 大量残差块堆叠,首尾各一次换维
板 13

归一化:LayerNorm 与 RMSNorm(附 CNN 尾注)

▶ 1:12–1:20
  • LayerNorm:把向量先标准化(减均值、除标准差),再用可学习的 β、γ 放回平移和缩放自由度——"先归一到 0/1,训练时想变成什么样自己学"。
  • RMSNorm:更简的变体,不减均值只除 RMS,保留缩放参数 γ。更省计算,如今是大模型标配——正是第一节 Transformer 里每层用的那个 RMSNorm。
  • 核心性质:尺度不变性 LN(αz)=LN(z)。没有它,深层网络层层放大,数值可以涨到 10²⁰ 直接爆炸;归一化每层都"掐"回正常范围,初始化也变得宽容。
  • 诚实的 caveat:前向尺度不变,梯度并不尺度不变——问题只是被推到了更复杂的优化环节,并没有消失。
  • 结尾一分钟带过 CNN:卷积 = 带 Toeplitz 结构、参数共享的矩阵(平移不变的滤波器);如今连视觉领域都大量改用 Transformer,CNN 可以跳过。
LayerNorm: β + γ·(z−μ̂)/σ̂  RMSNorm: γ·z/δ̂, δ̂=√( (1/m)Σzᵢ² )
LN(αz) = LN(z):无论输入放大多少倍,输出不变

观后评价

推文说"把别人要花好几年才想明白的东西 2 小时讲透"——有营销成分,但方向是真的:这是真·板书推导,不是产品科普,也不是热闹的 demo 展示。它假设你懂基本的线性代数和微积分,然后诚实地把每一层公式推给你看。

值得看的理由

  • 注意力部分(Q/K/V 打分、−∞ 掩码、多头分工)是少见的"把直觉说成人话"的版本
  • 讲者极其诚实:到处是"没人确切知道""这是试出来的""我不确定",不装权威
  • 课堂问答质量极高:为什么不用巨型 MLP、高维为何少坏局部最优,都是真问题真回答
  • 白板 + 行向量记号,和代码实现一一对应,看完直接能读实现

不适合谁

  • 零数学基础、只想听轻松科普——2.5 小时全是公式推导,会很难熬
  • 想学工程实战(prompt 技巧、agent 框架)——这门课只讲原理
  • 期待"2 小时速成大模型专家"——它给的是地基,不是摩天楼

观看建议:按合集顺序看即可——先看第一节的板 01–03(分词、自回归、温度)建立全局,注意力卡住时先往下走,回头用第二节的板 10–13 补底子;第二节在课程顺序里其实在前,是第一节的地基。