第一节 · 0:00 – 1:17:31
Lecture 14 · Transformers 与 In-Context Learning
从零手推"ChatGPT 这类模型每一步在算什么":文本怎么变成数字,概率怎么分解,注意力为什么长这样。全课板书推导,穿插高质量课堂问答。
▶ 在 YouTube 打开这一节
- Transformer 只吃数字,第一步是把文本切成 token。切法决定了模型的"词汇":字符级太碎、步数太多;整词级又对付不了生僻长词。
- 关键例子:internationalization 若算一个整词,就与 internationalized、nation 毫不相干,学一个要单独见很多次;自造词 LLMefication 拆成 LLM + -ification 两个子词后,模型凭已有理解就能组合出词义,几乎零成本学会新词。德语、生物医学长词同理(词的每一段各有含义)。
- 所以现代 LLM 用子词词表:约 10 万–25 万个子词(课上提到 Qwen 3.5 词表约 25 万),每个 token 对应一个 ID,文本 = ID 序列。
- 词表怎么来的:BPE(Byte-Pair Encoding,字节对编码)——一个贪心算法,从字符出发反复合并语料中最高频的相邻单元,逐步长出子词表。
- 每家模型有自己的 tokenizer。可以在线上玩 OpenAI Tokenizer 看任意文本如何被切开。
边角 课上顺带提到:Claude 最近把 tokenizer 改得更细,同样一段文本会切成更多 token——按 token 计费意味着更贵。
- 长度 T 的序列有 |V|T 种可能,不可能给每个序列单独一个概率。解法是用链式法则把联合分布拆成一串条件分布,每个条件分布只在一个 token 上取 |V| 种取值:
p(x₁,…,xT) = ∏t p(xt | x₁,…,xt−1)
"预测下一个词"本身就是一种完整的语言模型
- 每个条件分布由同一个 Transformer 参数化:token ID 先查 embedding 矩阵(每行一个 d 维可训练向量),句首加 BOS 等特殊 token(词表会预留上千个特殊位),过 Transformer 后每个位置输出 |V| 维 logits,softmax 即下一个 token 的概率分布。
- 课程全程用行向量记号(与代码实现一致);embedding 只依赖 token 本身,就是查表,与位置和上下文无关。
- 强调因果性:第 t 个位置的输出 ut 只允许是 x₀…xt−1 的函数——这条约束后面靠掩码实现。
- 训练目标:负对数似然。对整条序列求 −Σ log p(xt|x<t),取 softmax 后真实 token 那一项,交给 SGD / Adam 当黑盒优化。
- 解码是自回归循环:从 BOS 出发采样一个 token → 拼回输入 → 再采样下一个;给定 prompt 时,就是从第 k+1 个位置开始续写。这就是"autoregressive(自回归)"的含义:算似然时整条序列已知,生成时却要自己一步步吐出来。
- 温度 temperature:把 logits 除以 τ 再 softmax。它不改变 token 之间的排序,只改变分布形状——τ 很小时分布急剧尖锐化,退化为确定性输出(取最大者);API 里 temperature=0 就是每次贪心选最可能的词;τ>1 则分布变软,长尾 token 更容易被采到,输出更多样。
- top-k 采样:只在概率最高的 k 个 token 里重新归一化后采样,避免采到莫名其妙的罕见词。讲义里还有更多采样变体。
softmax(2, 1, −1) ≈ (0.67, 0.24, 0.09)
softmax(200, 100, −100) ≈ (1, 0, 0)
除以很小的 τ = 把 logits 放大 = 分布变尖锐
- 整个模型是多层"注意力 → MLP"交替堆叠:输入一串向量,注意力把信息在位置之间融合,输出还是一串向量;MLP 再对每个位置独立加工;如此往复,最后输出 logits。
- MLP 是每个位置独立的两层小网络(带特殊激活函数),参数量与序列长度 T 无关;位置之间唯一交换信息的通道就是注意力。
- 整个网络虽然结构复杂,仍是基本算子的组合,端到端自动微分直接训练。
课堂问答为什么不能只用 MLP?——去掉注意力后,各位置之间没有任何交互,等于对每个词单独跑一个网络,永远学不到词与词之间的依赖与语义。
- 每个位置的向量 h 分别乘三个可学习矩阵,得到三样东西:query(查询)、key(键)、value(值):qt=htWQ,kt=htWK,vt=htWV。
- 直觉:处理第 t 个位置时,拿它的 query 与所有位置的 key 做内积打分——"内积越大 = 越该关注谁";分数过 softmax 变成一组注意力权重;输出就是对所有 value 的加权平均。
- 矩阵形式(行 softmax)与因果掩码:不带掩码时第 t 行能看到未来,违反自回归。做法是在 QKT 矩阵上三角全部加 −∞,softmax 后这些位置权重精确为 0,剩下的权重自动重新归一化——"只看过去"由此实现。
- WQ、WK、WV 全部由训练学出来:给模型一个"关注机制"的模板,怎么关注让它自己学。
Attention: hout = softmax(QKT/c) · V
上三角加 −∞ ⇒ softmax 后为 0 ⇒ 只对历史位置归一化
课堂问答为什么不用一个巨型 MLP 吃下整条拼接序列?——参数量随 T 爆炸(百万长度即不可行),而且换个序列长度就得换网络;注意力机制的参数量与 T 无关,长度自由。CNN 也是历史上的备选方案:能用,只是不如注意力好。
课堂问答结构与自由度的平衡——完全自由(巨型 MLP)太贵;规定太死(直接平均、零参数)又没表达力。注意力是在"先验结构"与"可学习自由度"之间取的一个平衡点。
- 实际不止一个"头":并行跑多组权重各不相同的单头注意力,各头输出拼接后乘一个投影矩阵融合成最终输出。
- 直觉上每个头有自己的分工:一个头找前文里的实体,一个头追踪情感,一个头处理指代……多组注意力覆盖不同类型的信息,再聚合。
- 头数大致随模型规模增长,千亿参数模型可以有上百个头;所有头完全并行,一次算完。
- 每一层外面还包着残差连接 + RMSNorm(归一化放注意力/MLP 之前还是之后,即 pre-norm 与 post-norm,细节见课程讲义)。
- 注意力分数矩阵是 T×T 的,计算量 O(T²)——这就是长上下文昂贵的根源。ChatGPT、Claude Code 里"让我压缩一下上下文"的提示,根因就在这里。
- Flash Attention:分块计算、不把整个 T×T 矩阵物化到显存,大幅降低内存占用。
- 还有各种把 T² 压到近似线性的注意力变体,但表达力会受损,可能掉性能;OpenAI、Anthropic 内部具体用哪种,讲者坦言外界并不确切知道。
预告 后续课:ML Systems 专场讲如何把 Transformer 在 GPU 上跑快;还要补强化学习——不讲 RL 就没法讲现代推理模型(o1/R1 类)。