无需基础,从这里开始A VISUAL GUIDE TO ATTENTION

Transformer让词语,彼此看见。

一个词的意义,藏在它与其他词的关系里。
亲手连接词语、调节注意力,看懂改变 AI 的核心架构。

约 10 分钟探索 · 3 幕故事 + 2 个附录 · 每一步都可以动手

SELF-ATTENTION / 一个词,连接整个上下文LIVE ↗
2017.Vaswani 等八位作者提出
Attention Is All You Need
Attention以注意力为核心
为每个词聚合上下文
Parallel训练时并行处理位置
缩短长距离信息路径
ACT 01 / BREAK THE SEQUENCE

理解一句话,
一定要从头等到尾吗?

传统循环网络让信息逐站传递。自注意力让每个位置直接读取其他位置的信息。拖长句子,看路径如何变化。

01 — 03
信息传递 · 同屏对决BEFORE / AFTER
循环网络 RNNBEFORE

像传话:上一站处理完,下一站才能开始。

两端信息的传递路径 7 跳
Self-attentionAFTER

像开圆桌会:所有位置可以直接交换信息。

两端信息的传递路径 1 跳

这里比较单层的信息依赖路径,不是运行速度实测。自回归生成仍需逐个生成新词;“并行”主要指已知序列上的位置计算。

原论文 Table 1:循环层的顺序操作数为 O(n),自注意力为 O(1)。更短的路径有助于学习远距离关系,但不保证每次都找到正确关系。
ACT 02 / THE ATTENTION PLAYGROUND

此刻,“它”正在关注谁?

点击一个词元作为查询,再点击热力图中的格子。改变参数,观察关注比例与汇总结果如何一起变化。

实时计算 · 教学向量
选择查询词元 ↓
连线粗细 = 关注权重粒子 = 汇入的信息
注意力热力图 Q → K0 1
ATTENTION
0%

该格表示这一行分配给该列的关注比例。

当前行总和
1.000

分布熵
Attention = softmax(QKᵀ / √dₖ) V

查询 Q 与键 K 匹配 → 归一化为权重 → 按比例汇总值 V。亮色不表示因果,也不等于模型的完整解释。

把一次计算展开

Q 是“我要找什么”,K 是“我有什么特征”,V 是“我要提供什么信息”。在真实模型中,它们来自输入向量与训练得到的投影矩阵。

四个头使用不同的手设投影矩阵,展示“同一输入,多种关系”。真实注意力头通过训练形成,不预先指定语法或语义职责;本实验未加载训练模型。

实验可复现性

本页 dₖ = dᵥ = 4,Q = XWᴽ、K = XWᴷ、V = XWⱽ;对每行计算稳定 softmax((QKᵀ / s + M) / T),其中 s = √4 或 1。遮罩 M 在未来位置取 −∞。四头各自计算后,真实模型还会 Concat 并乘 Wᴼ;本页的数字输出展示所选单头的 AV,不冒充完整模型输出。

ACT 03 / PUT IT ALL TOGETHER

注意力是核心,
但它不是全部。

把上下文汇总、逐位置加工和位置信息组装起来。点击模块,跟随原始 Transformer 的编码器与解码器。

03 — 03
ENCODER
↑
↑
↑
↑
输入序列 → 编码后的记忆 K, V
DECODER
↑
↑
↑
↑
↑
↑
↑
目标序列右移一位(从起始符开始)

按原论文 Figure 1 自下向上阅读 · 每个子层有残差连接 · 原版为 post-norm

01 / CONTEXT MIXING

多头自注意力

EXPERIMENT / WORD ORDER

“猫追狗”和“狗追猫”,一样吗?

没有位置线索的全局自注意力对顺序是置换等变的。给词元加入位置编码,模型才能利用“谁在前、谁在后”。

STRESS TEST / THE QUADRATIC COST

当上下文越来越长

全局注意力需要比较 n × n 对位置。把长度翻倍,分数矩阵元素数会变为 4 倍。

单层 · 单头 · FP32 分数矩阵
标尺上限 1 GiB

仅估算显式保存 n² 个分数的空间,不含其他张量、梯度和多头。优化内核可避免完整物化该矩阵;这里不代表实际总显存。

原版 base 配置:编码器与解码器各 6 层,d_model = 512,h = 8,dₖ = dᵥ = 64,d_ff = 2048。全局注意力核心复杂度 O(n²d);投影另需 O(nd²)。正弦位置编码:PE(pos, 2i) = sin(pos / 10000^(2i/d_model)),奇数维用 cos。
CHECK YOUR INTUITION

最后,用一个问题检验直觉。

开启因果遮罩后,“它”还能读取后面的“趴”吗?

APPENDIX / THE SOURCE CODE

实验室到此为止,
接下来是真实源码。

按原论文实现的 PyTorch 参考代码,拆成 5 个文件逐个阅读:从词嵌入一直到完整模型。对照上面的实验,找到每一个公式在代码里的位置。

SRC / PYTORCH
01_embeddings.pyPYTORCH · REFERENCE
阅读路线:先在文件 02 找到 softmax(QKᵀ/√dₖ)V——它与第二幕热力图算的是同一个公式;再到文件 04 看 masked_fill 如何把未来分数置为 −∞(对应实验里的「因果遮罩」开关);最后在文件 05 对照原论文的 base 超参数。

代码按论文《Attention Is All You Need》的官方思路与社区广泛流传的参考实现整理(The Annotated Transformer 风格),为教学做了简化:省略标签平滑、学习率调度与数据管道;生产环境请直接使用 torch.nn.Transformer 或各推理框架的优化实现。

APPENDIX II / INDUSTRY INNOVATIONS

走出论文之后,
工业界把它改成了什么样?

2017 年至今,注意力效率、架构组件、稀疏专家、训练与推理系统四条战线同时推进。先看时间线,再按分类筛选卡片——每一项都附一手来源。

2017 — 2026
KV 缓存实验 · 一次看懂 GQA / MQA / MLAINFERENCE LAB
选择注意力变体(32 层 · 32 查询头 · 头维 128 · BF16)

查询头数量不变,改变的是「每个位置要缓存多少套 K/V」。这就是工业界最看重的一刀。

每 token 的 KV 缓存

多头为什么能省缓存

MHA 为每个查询头独存一套 K/V;MQA(Shazeer, 2019)让所有头共用 1 套;GQA(Ainslie et al., 2023)取折中按组共用;MLA(DeepSeek-V2, 2024)干脆不存 K/V,只存一个低秩压缩后的隐向量,推理时再上投影还原。与第三幕「多头实验」对照:头数不变,缓存变了。

口径与实数

本面板假设 32 层 · 32 查询头 · 头维 128 · BF16(每元素 2 字节),即 KV(bytes) = 2(K 与 V) × 层数 × KV 头数 × 头维 × 2。真实 DeepSeek-V3 为 61 层、d_model=7168、KV 压缩到 512+64 维,每 token 约 70 KB 量级,并可与 MTP 投机解码叠加。注意 FlashAttention 优化的是 HBM 读写带宽与峰值显存,并不缩小 KV 缓存本身。

卡片均链接官方论文、技术报告或官方仓库;工业改动大多可叠加——今天一个开源旗舰模型常常同时使用 Pre-norm + RMSNorm + RoPE + SwiGLU + GQA/MLA + MoE + FlashAttention 内核 + 投机解码。「混合架构成主流」是 2026 年的社区共识判断,其余事实均可在链接中验证。

从实验,回到源头。

PRIMARY SOURCES

2017 年 6 月 12 日,Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser、Illia Polosukhin 发布原始论文。Transformer 是以注意力为核心的序列转换神经网络架构,最初以机器翻译验证,改善循环计算的并行性和长程依赖路径。注意力机制本身早于 Transformer。
本实验室依据上述一手资料制作;可视化向量、动画节奏和场景均为教学设计,不是论文模型的推理记录或性能基准。中文词元在此手工分隔,真实模型通常使用子词词元。
附录「源码」与「工业创新」章节依据各官方论文、技术报告与官方仓库整理(来源链接见卡片),日期与数字以发布时的官方口径为准。

01 / 12

总控导演台