理解一句话,
一定要从头等到尾吗?
传统循环网络让信息逐站传递。自注意力让每个位置直接读取其他位置的信息。拖长句子,看路径如何变化。
像传话:上一站处理完,下一站才能开始。
像开圆桌会:所有位置可以直接交换信息。
这里比较单层的信息依赖路径,不是运行速度实测。自回归生成仍需逐个生成新词;“并行”主要指已知序列上的位置计算。
O(n),自注意力为 O(1)。更短的路径有助于学习远距离关系,但不保证每次都找到正确关系。一个词的意义,藏在它与其他词的关系里。
亲手连接词语、调节注意力,看懂改变 AI 的核心架构。
约 10 分钟探索 · 3 幕故事 + 2 个附录 · 每一步都可以动手
传统循环网络让信息逐站传递。自注意力让每个位置直接读取其他位置的信息。拖长句子,看路径如何变化。
像传话:上一站处理完,下一站才能开始。
像开圆桌会:所有位置可以直接交换信息。
这里比较单层的信息依赖路径,不是运行速度实测。自回归生成仍需逐个生成新词;“并行”主要指已知序列上的位置计算。
O(n),自注意力为 O(1)。更短的路径有助于学习远距离关系,但不保证每次都找到正确关系。点击一个词元作为查询,再点击热力图中的格子。改变参数,观察关注比例与汇总结果如何一起变化。
该格表示这一行分配给该列的关注比例。
查询 Q 与键 K 匹配 → 归一化为权重 → 按比例汇总值 V。亮色不表示因果,也不等于模型的完整解释。
Q 是“我要找什么”,K 是“我有什么特征”,V 是“我要提供什么信息”。在真实模型中,它们来自输入向量与训练得到的投影矩阵。
四个头使用不同的手设投影矩阵,展示“同一输入,多种关系”。真实注意力头通过训练形成,不预先指定语法或语义职责;本实验未加载训练模型。
本页 dₖ = dᵥ = 4,Q = XWᴽ、K = XWᴷ、V = XWⱽ;对每行计算稳定 softmax((QKᵀ / s + M) / T),其中 s = √4 或 1。遮罩 M 在未来位置取 −∞。四头各自计算后,真实模型还会 Concat 并乘 Wᴼ;本页的数字输出展示所选单头的 AV,不冒充完整模型输出。
把上下文汇总、逐位置加工和位置信息组装起来。点击模块,跟随原始 Transformer 的编码器与解码器。
按原论文 Figure 1 自下向上阅读 · 每个子层有残差连接 · 原版为 post-norm
没有位置线索的全局自注意力对顺序是置换等变的。给词元加入位置编码,模型才能利用“谁在前、谁在后”。
全局注意力需要比较 n × n 对位置。把长度翻倍,分数矩阵元素数会变为 4 倍。
仅估算显式保存 n² 个分数的空间,不含其他张量、梯度和多头。优化内核可避免完整物化该矩阵;这里不代表实际总显存。
开启因果遮罩后,“它”还能读取后面的“趴”吗?
按原论文实现的 PyTorch 参考代码,拆成 5 个文件逐个阅读:从词嵌入一直到完整模型。对照上面的实验,找到每一个公式在代码里的位置。
softmax(QKᵀ/√dₖ)V——它与第二幕热力图算的是同一个公式;再到文件 04 看 masked_fill 如何把未来分数置为 −∞(对应实验里的「因果遮罩」开关);最后在文件 05 对照原论文的 base 超参数。代码按论文《Attention Is All You Need》的官方思路与社区广泛流传的参考实现整理(The Annotated Transformer 风格),为教学做了简化:省略标签平滑、学习率调度与数据管道;生产环境请直接使用 torch.nn.Transformer 或各推理框架的优化实现。
2017 年至今,注意力效率、架构组件、稀疏专家、训练与推理系统四条战线同时推进。先看时间线,再按分类筛选卡片——每一项都附一手来源。
查询头数量不变,改变的是「每个位置要缓存多少套 K/V」。这就是工业界最看重的一刀。
MHA 为每个查询头独存一套 K/V;MQA(Shazeer, 2019)让所有头共用 1 套;GQA(Ainslie et al., 2023)取折中按组共用;MLA(DeepSeek-V2, 2024)干脆不存 K/V,只存一个低秩压缩后的隐向量,推理时再上投影还原。与第三幕「多头实验」对照:头数不变,缓存变了。
本面板假设 32 层 · 32 查询头 · 头维 128 · BF16(每元素 2 字节),即 KV(bytes) = 2(K 与 V) × 层数 × KV 头数 × 头维 × 2。真实 DeepSeek-V3 为 61 层、d_model=7168、KV 压缩到 512+64 维,每 token 约 70 KB 量级,并可与 MTP 投机解码叠加。注意 FlashAttention 优化的是 HBM 读写带宽与峰值显存,并不缩小 KV 缓存本身。
卡片均链接官方论文、技术报告或官方仓库;工业改动大多可叠加——今天一个开源旗舰模型常常同时使用 Pre-norm + RMSNorm + RoPE + SwiGLU + GQA/MLA + MoE + FlashAttention 内核 + 投机解码。「混合架构成主流」是 2026 年的社区共识判断,其余事实均可在链接中验证。
Vaswani et al. · 2017 · 原始公式、架构和复杂度
Google 官方介绍 · 设计动机与直观解释
论文配套开源实现 · 历史代码供研究参考
2017 年 6 月 12 日,Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser、Illia Polosukhin 发布原始论文。Transformer 是以注意力为核心的序列转换神经网络架构,最初以机器翻译验证,改善循环计算的并行性和长程依赖路径。注意力机制本身早于 Transformer。
本实验室依据上述一手资料制作;可视化向量、动画节奏和场景均为教学设计,不是论文模型的推理记录或性能基准。中文词元在此手工分隔,真实模型通常使用子词词元。
附录「源码」与「工业创新」章节依据各官方论文、技术报告与官方仓库整理(来源链接见卡片),日期与数字以发布时的官方口径为准。