token 是计算单位
同一段文字可以被不同分词器切成不同数量的 token,不能把 token 数简单等同于字数。
Stanford CS229 · 中文课程整理
一个 token 怎样变成一句回答?一个神经元怎样组成可学习的网络?沿着马腾宇的课堂推导,把大模型的计算过程串起来。
给定前文,下一个 token 的概率是多少?
Course map · 课程地图
前半段从语言模型的概率定义走进 Transformer;后半段回到神经网络的基本构件,解释这些函数如何从样本中学会预测。
把字符串切成可复用的片段,再转换为编号。
通过可学习的 embedding,把离散符号送入网络。
注意力交换信息,MLP 处理各位置的表示。
网络输出 logits,softmax 把分数变成概率。
选出一个 token,再用更新后的前文继续生成。
训练时用真实文本衡量误差,优化器改善预测。
先读第一部分,建立大模型主线;再读第二部分,补齐损失、优化和网络结构。
也可先读第二部分的「非线性」「损失」「网络」,再返回注意力公式。
本页覆盖原帖所附完整视频。交互演示、练习和「整理者示例」用于辅助理解;问答微调、RLHF 与详细反向传播推导不在本段课程的展开范围内。
分词 · 概率模型 · 生成 · 基础训练 · Transformer
第一部分 · 01
模型接收的是数字。文字进入网络之前,先被切成 token,再用词表中的编号表示。token 可以是一个常见词、词的一部分,也可以包含空格或标点。
讲者比较了两个极端:按字符切,序列容易变得很长,生成同一段文字需要更多步;把每个完整单词当作一个单位,又不利于处理罕见词和新造词。子词分词提供一种折中,把较长的词拆成可以重复使用的部分,让模型有机会借用已有部分的表示。
例如,讲者用一个含有“模型化”意味的新造英文词说明:完整词也许很少见,但构成它的缩写与后缀可能已出现很多次。这里的“理解”是一种直观解释;分词器本身只负责切分和编号,意义相关的表示还要由后续训练学得。
词表和切分规则依赖具体分词器,相同文字不保证得到相同编号或相同数量的 token。讲者提到 BPE 与频繁片段有关,但明确略过精确算法;这堂课没有完整推导如何构建词表。
假设教学词表把 AI-ification 切成 AI、-、ification,对应编号 12、8、91,网络看到的就是这三个编号。它们是人为设定的演示规则,不代表任何实际模型的切分结果,也不表示编号大的片段更重要。
第一部分 · 02
一段文字可能有无数种排列。课程没有为每段完整文字存一张概率表,而是用条件概率,把“整段文字出现的概率”拆成“每一步接下来出现什么”的概率。
这里的 x<t 表示当前位置之前的全部 token。课程用概率的链式法则描述这种分解。每一步的候选仍然是整个词表,但预测可以参考前文,避免为所有完整序列逐个设定独立参数。
token 编号先在 embedding 矩阵里找到对应的一行,成为一个可以计算的向量。这个初始向量由编号决定,此时不随前后文变化;随后经过 Transformer,才形成结合上下文的表示。embedding 矩阵中的数值也属于要训练的参数,并不是人工给每个词写好一组解释。
网络最后输出与词表一样长的 logits 向量。logits 可以为负,也不需要相加为一;softmax 把它转换成非负、总和为一的概率。向量的每一项对应一个候选 token,因此“输出概率分布”与“已经选出下一个 token”是两个不同环节。
假设前文是“今天的天空很”,教学模型为“蓝”“暗”“甜”分配 0.6、0.3、0.1 的概率。它需要输出这三种选择的分布;选中其中一种之后,新前文才成为下一步的条件。这里把词当作 token,概率均为人为设定。
第一部分 · 03
有了下一 token 的概率,模型仍需决定具体输出哪个。课程中的生成过程是:预测、选择、接回输入,然后重复。已有的 prompt 提供起点,生成并不必须从空白开始。
按概率采样时,概率较高的候选更容易被选中,但概率较低的候选仍可能出现。一旦某一步选择不同,下一步所依据的前文也改变,后面的文字便可能沿着另一条路径发展。课堂把这种逐步反馈的过程称为自回归生成。
temperature 在采样前调整 logits 的尺度。对于正温度,较大的分数仍然较大,但概率的集中程度会变化:温度降低,分布更尖锐,生成更偏向最可能的候选;温度升高,分布更平坦,较低概率的候选获得更多机会。
公式中的零温度不能直接代入除法。课堂所说的零温度,可以理解为采用最大分数候选的贪心选择。讲者还介绍 top-k:保留分数最高的 k 个候选,删掉其他候选,再把剩余概率归一化后采样。
设教学 logits 为 [2, 1, −1]。温度为 1 时,概率约为 [0.705, 0.259, 0.035];温度降到 0.1,第一项已非常接近 1。若采用 top-2,第三项直接被排除。两种方法都会改变选择机会,但改变的方式不同。
整理者示例:上下文是「今天适合……」。固定四个候选的 logits 为 2、1、0、−1,观察同一组分数在不同温度下的概率。
点击按钮,从当前概率分布选择一个 token。
此演示固定概率分数,只展示 softmax 与采样;真实生成在每一步会根据新的前文重新计算分数。τ = 0 按贪心选择处理,不直接除以零。
第一部分 · 04
生成时,模型需要自己选出下一步;训练时,真实文本已经给出下一步是什么。课程用这些已知结果评价预测,并调整参数,让模型更容易预测训练数据中的后文。
每个位置都有一整组候选概率,但这项损失只取出真实 token 对应的那一个概率,取负对数,再跨位置相加。真实后文的概率很低,损失就高;把它的概率提高,损失就下降。最大化整段训练文字的似然,等价于最小化这里的负对数似然。
课程提到可以使用 SGD 或 Adam 一类优化器调整参数,但没有展开 Adam 的计算规则。这里需要学习的不只是最后输出分数的那层:embedding、注意力的投影矩阵与其他网络参数一起构成整套可训练系统。
后续解释注意力时,讲者强调模型由许多基础算术运算组合而成,因此可以使用自动微分获得梯度,训练整个网络。理解训练时先抓住三个环节:怎样计算预测、怎样评价预测、怎样沿梯度调整参数,不必先掌握每一种优化器的细节。
假设训练文本的下一 token 是“蓝”。调整参数前,它的概率为 0.2,这个位置的损失约为 1.61;调整后概率为 0.5,损失约为 0.69。损失下降表示模型更符合这条训练样本,不表示它已经学会处理所有类似句子。例子使用自然对数。
第一部分 · 05
只把每个 token 单独送入同一个小网络,各位置就无法交流。注意力提供这种交流:当前位置先与其他位置计算匹配程度,再按权重取回它们携带的信息。
把每个位置的输入向量排成矩阵 H,再通过三个可训练投影得到 Q、K、V。可以直观理解为:Q 表示当前位置用于匹配的查询,K 表示各位置用于匹配的特征,V 表示准备交给其他位置的信息。这是帮助理解运算的类比,并非人工写好的语义标签。
Q 与 K 的点积给出匹配分数,逐行 softmax 把它们变成总和为一的权重,乘 V 得到加权汇总。公式写出标准缩放因子,课程对此没有深入推导。为保持自回归性质,遮罩 M 把未来位置的分数设为负无穷,经 softmax 后权重变成零。
多头注意力让多组不同参数并行执行这种运算,再拼接和投影结果;不同头可能提取不同信息,是讲者给出的直觉。随后逐位置应用共享参数的 MLP,交替堆叠,并结合残差和归一化;MLP 本身不负责位置之间的信息交换。
在“小王把书交给小李,他接过来”里,处理“他”的表示时,教学注意力可以给“小李”更大的权重,取回与人物有关的信息。这只是演示相关性加权的作用,不能保证真实模型某个头总按这种规则工作;因果遮罩也不允许它偷看尚未出现的后文。
整理者示例:每一行对应一个查询位置 Q,每一列对应可读取的位置 K。选择一行,观察自回归模型允许它看到哪里。
有纹理的格子为未来位置 · 点击允许的格子查看权重
权重为人为构造,用于展示遮罩与逐行归一化。它们不代表真实模型学到的语义关系;这里没有实现完整 Transformer。
第一部分 · 06
课程最后从“这个网络怎样工作”转向“它需要多少计算和内存”。标准注意力要考虑很多位置对,序列变长带来的负担,并不只是多存几段文字。
长度为 T 的序列中,每个查询位置与许多键位置计算点积,整个匹配矩阵的规模是 T×T。即使采用因果遮罩,只使用其中一半的位置关系,主要规模仍按平方增长。这里描述的是标准注意力的这部分计算,而不是声称整套模型只有这一种成本。
如果把整张中间矩阵一次算好并保存,就会承担相应的内存需求。讲者用分块处理的直观方式介绍 FlashAttention:计算一部分、用于后续汇总,再处理另一部分,避免把整张中间矩阵常驻保存。减少中间存储,不等于把标准注意力的所有位置匹配都取消。
另外一些方法会改变架构来降低随长度增长的计算负担。课程提醒,这可能带来表达能力和性能方面的取舍。讲者提到工业系统可能使用不同方法,也明确表示不知道具体公司采用哪一种;因此这里不能推出任何专有产品的确定内部实现。
把教学序列从 1000 个 token 增至 2000 个,完整匹配矩阵的元素数从 100 万增至 400 万。若其他条件相同,这部分位置匹配规模约增至四倍。这是矩阵大小的比较,不能直接当作实际服务延迟或价格的预测。
非线性 · 损失函数 · 梯度下降 · 多层网络 · 稳定性
第二部分 · 01 / 从线性模型走向神经网络
曲线看起来弯,并不自动意味着学习问题已经变成了非线性。老师先区分对输入的非线性与对参数的非线性,再解释为什么需要另一类模型。
虽然输入出现平方,但令 z1 = x12、z2 = x22,它就成了新特征上的线性模型。特征变换预先确定,学习仍然是在寻找各特征的系数。老师强调:这种替换保持原模型的功能,已有的线性模型方法仍有用。
神经网络把待学习的权重放进激活函数,并把多个层的计算组合起来。这里不能仅靠一个预先固定的输入变换,就把整个学习问题恢复成原来的线性形式。需要重新考虑模型的表达方式,以及怎样优化它的参数。
老师画出一种假设的关系:面积较小时,价格变化不大,之后才明显上升。直线不足以贴合这种弯折;引入 ReLU 后,模型能表示“先平缓、后增长”的形状。这是说明表达能力的教学例子,并非一条普遍的房价规律。
第二部分 · 02 / 让预测成为可以优化的目标
无论模型有多少层,监督学习的框架仍然清楚:给出输入与正确标签,计算每个样本的损失,取平均,再寻找让平均损失更小的参数。
平方损失比较真实数值与预测数值。老师还解释了概率视角:假设标签等于模型预测加上固定方差的高斯噪声,负对数似然就对应平方误差,加上与参数无关的常数及固定比例。这依赖建模假设。
模型先输出 K 个分数,称为 logits;Softmax 把它们转换成总和为一的概率。交叉熵损失读取正确类别 y 对应的概率:给正确类别的概率越小,惩罚越大。这里 y 是类别编号,也可等价写成 one-hot 标签。
假设真实类别是“猫”。两次预测给猫的概率分别为 0.8 和 0.2,则损失约为 0.223 和 1.609。两次都输出了合法概率,但第二次对正确标签的支持更弱,损失也更大。只看最终分类是否正确,会漏掉这种程度差异;损失把它量化,成为参数更新的依据。
第二部分 · 03 / 用有限计算推进训练
梯度给出局部的变化方向。全量梯度下降先计算所有样本的平均梯度;随机梯度下降用抽样估计方向,节省计算,也引入波动。
η 是学习率,B 是抽取的一小批样本。老师先讲只抽一个样本的 SGD:若从训练集均匀抽样,单步梯度估计的期望等于全量平均梯度。注意,这是一个关于平均方向的结论,并不表示每一步都朝同一方向移动,也不保证长期轨迹与全量训练完全重合。
数据很大时,每次计算全部样本的梯度代价过高。不同样本的梯度可能提供相近的信息,因此用一部分样本也能推进更新。节省的计算允许进行更多次参数更新。
只用一个样本可能过于嘈杂,且不能充分利用 GPU。小批量在计算成本、方向波动与硬件利用率之间折中;批量并非越大越好,课堂没有给出统一最优值。
每次尝一小勺,就能判断下一步是否还要加盐,无需喝完整锅汤。这个比喻仅说明抽样节省成本;真实训练还受到学习率、数据分布与非凸损失形状影响。
第二部分 · 04 / 从一个神经元到多层模型
神经网络的基本积木是线性组合、偏置和激活函数。把它们连续组合,模型就能学习中间表示,再用这些表示形成最终预测。
ReLU 保留正值,把负值截成零;对向量则逐坐标应用。老师也提到 sigmoid、tanh、Leaky ReLU 与 GELU,说明激活函数选择包含经验因素。此处用 ReLU 把结构讲清楚,并不意味着所有现代模型都采用同一种激活。
面积、卧室数与邮编等是原始输入;步行便利程度、学校质量则帮助理解“中间表示”的作用。网络先形成一些中间量,再组合它们预测价格。不过隐藏单元不会自动获得这些可解释的名字;这只是老师用来说明层之间如何组合的例子。
本节采用列向量:x ∈ ℝ3,第一层 W[1] ∈ ℝ4×3、b[1] ∈ ℝ4,输出 a ∈ ℝ4;若最后输出一个数,第二层 W[2] ∈ ℝ1×4,偏置为标量。第一层有 4×3+4=16 个参数。每层的输出维度必须对上下一层的输入维度。
整理者示例:用一个带 ReLU 的神经元模拟「面积—预测值」曲线。调整权重与偏置,再关闭激活函数比较形状。
数据和单位仅为教学示意,不是实际房价模型。本演示手动调整参数,没有执行梯度下降训练;它展示非线性函数的形状。
第二部分 · 05 / 让更深的计算更容易训练
基本层可以继续堆叠,但尺度和优化会变得难以控制。老师最后补充残差连接与归一化:它们仍是可组合的计算模块,帮助组织更深的网络。
F 可以包含矩阵计算与激活。这个简单相加要求两边维度一致。老师的直觉是:若中间结果已经接近目标,学习剩余差值可能更容易。他把这称为一种解释,也提到优化条件的理论视角,没有把其中一种解释说成唯一原因。
μ、v 是同一个表示向量各坐标的均值与方差;γ、β 是可学习参数。先减去均值,再调整尺度,然后允许模型学习适合任务的缩放与平移。
不减均值,按均方根调整尺度,通常保留可学习缩放 γ,不添加偏置。此处采用标准书面形式,修整课堂口述及转写中的符号;ε 是数值稳定的小常数。
老师仅简述局部连接与参数共享:同一组滤波权重沿不同位置重复使用,可看作带结构的矩阵运算。课堂没有展开完整卷积网络,因此这里只保留这一概念。
Keep the essentials · 核心回顾
同一段文字可以被不同分词器切成不同数量的 token,不能把 token 数简单等同于字数。
前文 → 下一 token 概率 → 选取 token → 接回前文。每一步都会重新依赖当前上下文。
损失函数把预测偏差变成可优化的目标;参数通过样本与优化步骤逐渐改变。
MLP 逐位置处理表示;注意力让不同位置交换信息。因果遮罩保证生成所需的先后依赖。
线性变换之间加入非线性激活,才会得到更丰富的函数;仅堆叠线性变换仍是线性变换。
小批量、FlashAttention、残差和归一化分别处理计算、存储或训练行为中的不同问题。
Vocabulary · 术语速查
遇到陌生词时,用这份小词典回到它在链路中的作用。
Check your understanding · 概念自测
8 道整理者编写的概念题。检查后会显示答案解释;可以反复选择并重新检查。
Sources & scope · 来源与范围
依据原帖整段视频音轨转写、官方课程字幕及关键画面整理。已省略口语重复、学生提问中的转写噪声;公式使用标准数学记法,避免把识别错误当作术语。
章节保留视频「先大模型、后神经网络基础」的组织方式。「课堂例子」指视频出现的教学例子;「整理者示例」、交互模型和自测是补充材料。演示中的概率、权重与数据为人为设定,方便观察机制。
时间仅用于区分前后两段课程,没有把近似进度标为精确时间戳。讲者对具体商业模型内部实现及部分优化理论保留不确定性,本页也保留这些限定。
统一记号:θ 为可学习参数;x<t 是第 t 个 token 之前的前文;T 是序列长度;τ 是采样温度;d 是表示维度。