AI 必备概率论与统计学

不追求数学严谨性,用大白话讲清楚 AI 需要的概率论与统计学

面向深度学习和 AI 工程师 · 从直觉到实战 · 2026

1. 为什么学 AI 必须懂概率与统计

很多人学 AI 的时候,上来就学 PyTorch、调模型、跑训练。结果一遇到 loss 不收敛、模型输出乱七八糟、过拟合严重,就懵了。根本原因往往是:概率论与统计学没学好。

一个类比

学 AI 不懂概率论,就像学开车不懂交通规则。你可以踩油门、转方向盘,但遇到红绿灯不知道该停还是该走。概率论就是 AI 的"交通规则"——它决定了模型怎么从数据中学习、怎么做判断、怎么表达"我不确定"。

AI 的本质是概率推理

分类
输出的是概率分布——softmax 输出 [0.1, 0.7, 0.2] 表示"70% 概率是猫"。
生成
本质是采样——ChatGPT 每次输出一个 token,都是从概率分布中采样。
训练
本质是最大似然——最小化交叉熵损失 = 最大化数据的似然函数。
优化
SGD 是随机过程——mini-batch 带来随机噪声,帮助跳出局部最优。
不确定性
模型需要说"我不知道"——自动驾驶、医疗 AI 必须量化不确定性。

不懂概率会怎样

场景不懂概率懂概率
损失函数只知道"分类用交叉熵",不知道为什么理解交叉熵 = 负对数似然
过拟合无脑加 dropout、加数据从贝叶斯角度理解:正则化 = 先验
VAE看不懂 ELBO 公式理解 ELBO 是变分推断的核心
扩散模型只知道"加噪声再去噪"理解马尔可夫链和变分推断框架
RLHF照着教程抄代码理解奖励模型、策略梯度、PPO 的概率基础
好消息:你不需要成为统计学家AI 工程师需要的概率统计侧重点不同。你需要的是:直觉(公式在说什么)+ 应用(AI 里怎么用)+ 动手(代码能跑通)。

学习路线建议

1
第 1-7 章:基础概念——概率、随机变量、分布、期望方差、联合分布、马尔可夫链。大概 1-2 周。
2
第 8-13 章:统计推断——参数估计、贝叶斯推断、EM 算法、假设检验、不确定性量化、回归。大概 2-3 周。
3
第 14-17 章:信息论与优化——信息论、最大熵、蒙特卡洛、变分推断。大概 2 周。
4
第 18-24 章:AI 概率模型——图模型、高斯过程、生成模型、扩散模型、RL、因果推断、实战。

2. 概率基础 — 不确定性的数学语言

概率是量化"不确定性"的数学语言。天气预报说"明天 70% 会下雨",这就是概率——它不是确定的,但给了你一个量化的判断依据。

一个类比

想象你有一个不均匀的骰子——掷出 6 的概率是 30%,其他面各 14%。你不能确定下一次掷出什么,但你知道每个结果的"可能性"有多大。

样本空间和事件

样本空间 Ω——所有可能结果的集合。事件——样本空间的子集。概率函数 P——给每个事件分配一个 [0,1] 的数。

概率的三大公理

1
非负性——P(A) ≥ 0
2
归一性——P(Ω) = 1
3
可加性——互斥事件概率可加

条件概率

P(A|B) = P(A∩B) / P(B)

直觉:你原本觉得明天下雨概率 30%。看到乌云密布后更新为 80%。条件概率就是用新信息更新旧判断。

全概率公式

P(A) = Σᵢ P(A|Bᵢ) × P(Bᵢ)

把每种"原因"下 A 发生的概率加权求和。分而治之的思想。

贝叶斯定理 — AI 的灵魂公式

P(A|B) = P(B|A) × P(A) / P(B)
1
P(A)——先验。看到数据之前的信念。
2
P(B|A)——似然。如果 A 为真,观察到 B 的概率。
3
P(B)——证据。B 发生的总概率。
4
P(A|B)——后验。看到数据之后的更新信念。
AI 应用:贝叶斯定理无处不在
  • 垃圾邮件过滤——P(垃圾邮件|某些词)
  • LLM token 预测——P(下一个词|上下文)
  • 分类器——朴素贝叶斯直接用贝叶斯定理
  • 贝叶斯优化——用贝叶斯定理更新超参数信念

独立性

A 和 B 独立 ⟺ P(A∩B) = P(A) × P(B)。

独立 ≠ 互斥互斥:A 和 B 不能同时发生。独立:A 和 B 的发生互不影响。互斥事件一定不独立。
💡 思考题
  1. 贝叶斯定理中先验、似然、后验分别代表什么?
  2. P(A|B) 和 P(B|A) 有什么区别?
✏️ 计算练习
  1. 一种病患病率 1%。检测准确率 99%。检测阳性实际得病概率多少?
💻 代码练习
  1. 用 Python 模拟医学检测问题,验证贝叶斯公式。

3. 随机变量 — 把随机结果变成数字

随机变量是把"随机事件的结果"映射成数字的函数。

一个类比

你去参加抽奖。抽奖箱里有各种奖品。随机变量 X 给每个奖品标一个金额——谢谢参与=0 元,小玩偶=50 元,大电视=5000 元。虽然不知道会抽到什么,但 X 让你可以用数字来分析。

离散随机变量

伯努利分布 Bernoulli(p)

P(X=1) = p,   P(X=0) = 1-p

只有两个结果。AI 中:二分类标签、Dropout mask。

二项分布 Binomial(n, p)

P(X=k) = C(n,k) × p^k × (1-p)^(n-k)

n 次独立伯努利试验的成功次数。

泊松分布 Poisson(λ)

P(X=k) = e^(-λ) × λ^k / k!

单位时间内事件发生次数。当 n 大 p 小时,二项分布近似泊松。

连续随机变量

PDF(概率密度函数) f(x):P(a ≤ X ≤ b) = ∫ₐᵇ f(x)dx。注意 f(x) 本身可以大于 1,但积分必须为 1。

CDF(累积分布函数) F(x) = P(X ≤ x) = ∫₋∞ˣ f(t)dt。CDF 单调递增,F(-∞)=0,F(+∞)=1。

PDF 和 CDF 的关系CDF 是 PDF 的积分(F'=f),PDF 是 CDF 的导数。在 AI 中,CDF 常用于概率积分变换:如果 X~F,则 F(X)~Uniform(0,1)。这是生成模型中常用的技巧。

均匀分布 Uniform(a, b)

f(x) = 1/(b-a),   a ≤ x ≤ b

指数分布 Exponential(λ)

f(x) = λe^(-λx),   x ≥ 0

等待时间分布。无记忆性。

分布类型AI 应用
伯努利离散二分类标签、Dropout
二项离散A/B 测试成功次数
泊松离散稀疏事件建模
均匀连续权重初始化、随机采样
指数连续等待时间
高斯连续无处不在(下一章)
💡 思考题
  1. PMF 和 PDF 的区别?为什么连续变量单点概率为零?
  2. 伯努利、二项、泊松之间的关系?
✏️ 计算练习
  1. 硬币正面概率 0.6,投 5 次,求恰好 3 次正面的概率。
💻 代码练习
  1. 用 numpy.random 生成 10000 个伯努利样本,验证均值 ≈ p。

4. 高斯分布 — AI 中最重要的分布

如果你只能记住一种分布,那就记住高斯分布。它在 AI 中无处不在。

一个类比

你测量 1000 个成年男性的身高,画成直方图,发现它长得像一个钟形——中间高、两边低、左右对称。这就是高斯分布。

数学定义

f(x) = (1/√(2πσ²)) × exp(-(x-μ)²/(2σ²))

记作 X ~ N(μ, σ²)。μ 是均值,σ² 是方差。

68-95-99.7 法则

±1σ
约 68%数据落在 [μ-σ, μ+σ]
±2σ
约 95%数据落在 [μ-2σ, μ+2σ]
±3σ
约 99.7%数据落在 [μ-3σ, μ+3σ]

中心极限定理

不管原始分布是什么形状,大量独立随机变量的和近似服从高斯分布。这就是高斯无处不在的根本原因。

AI 中的体现
  • 权重初始化——He/Xavier 用高斯分布
  • BatchNorm——假设输出近似高斯
  • SGD 噪声——mini-batch 梯度噪声近似高斯

多元高斯分布

p(x) = (1/√((2π)ⁿ|Σ|)) × exp(-½(x-μ)ᵀΣ⁻¹(x-μ))

μ 是均值向量,Σ 是协方差矩阵。Σ 的特征向量决定椭圆轴方向,特征值决定轴长度。

高斯混合模型 GMM

p(x) = Σₖ πₖ × N(x|μₖ, Σₖ)

多个高斯叠加,可以近似任意分布。用于聚类、密度估计、语音识别。

💡 思考题
  1. 中心极限定理为什么解释了高斯分布的普遍性?
  2. 多元高斯的协方差矩阵特征值和特征向量分别表示什么?
✏️ 计算练习
  1. 设 X ~ N(3, 4),求 P(1 ≤ X ≤ 5)。
💻 代码练习
  1. 生成 10000 个 N(0,1) 样本,验证 68-95-99.7 法则。

5. 期望、方差与矩 — 描述分布的"指纹"

一个类比

你去菜市场买苹果。期望就是"平均价格",方差就是"价格波动"。知道了平均价和波动幅度,你对市场就有大致了解了。

期望

E[X] = Σᵢ xᵢ P(X=xᵢ)   或   E[X] = ∫ x f(x) dx

分布的"重心"——随机变量的长期平均值。

期望的线性性质(最重要的性质)

E[aX + bY] = aE[X] + bE[Y]

不需要 X 和 Y 独立!这个性质在 AI 中无处不在:梯度的期望等于期望的梯度(SGD 无偏性的基础)。

Jensen 不等式

如果 φ 是凸函数,则 E[φ(X)] ≥ φ(E[X])

AI 应用:ELBO 的推导依赖 Jensen 不等式。对数函数是凹函数,所以 E[log X] ≤ log E[X]。

高阶矩

一阶矩
期望 E[X]——分布的位置/中心
二阶中心矩
方差 Var(X)——分布的宽度/离散程度
三阶标准化矩
偏度 Skewness——分布的不对称性。正态分布偏度为 0
四阶标准化矩
峰度 Kurtosis——分布尾部的厚度。正态分布峰度为 3

方差和标准差

Var(X) = E[(X-μ)²] = E[X²] - [E(X)]²

σ = √Var(X) 是标准差,和 X 同单位。

协方差和相关系数

Cov(X,Y) = E[XY] - E[X]E[Y],   ρ = Cov(X,Y)/(σₓσᵧ)
相关 ≠ 因果ρ=0 不代表独立,只说明没有线性关系。

大数定律与切比雪夫不等式

X̄ₙ → E[X](大数定律),   P(|X-μ|≥kσ) ≤ 1/k²(切比雪夫)
AI 应用
  • BatchNorm——用均值方差归一化
  • Adam——用梯度的一阶矩和二阶矩自适应调整学习率
  • 权重初始化——保证每层输出方差稳定
💡 思考题
  1. 为什么方差用平方而不是绝对值?
  2. 大数定律和中心极限定理的区别?
✏️ 计算练习
  1. X 取值 1,2,3,4,5 概率各 0.2,求 E[X] 和 Var(X)。
💻 代码练习
  1. 生成 10000 个 N(0,1) 样本,计算均值方差,观察大数定律收敛。

6. 联合分布与边缘分布 — 多变量的世界

一个类比

一个班级有 50 个学生,每个有数学和语文成绩。联合分布就是"数学 90 且语文 80 的学生有多少"。边缘分布就是"不管语文,只看数学的分布"。

联合分布

两个变量同时分布:P(X=x, Y=y) 或联合 PDF f(x,y)。

边缘分布

P(X=x) = Σᵧ P(X=x, Y=y)

从联合分布中"求和掉"一个变量。

条件分布与独立性

P(Y|X) = P(X,Y)/P(X),   独立 ⟺ P(X,Y) = P(X)P(Y)

条件独立

X ⊥ Y | Z ⟺ P(X,Y|Z) = P(X|Z)P(Y|Z)

给定 Z 后 X 和 Y 独立。朴素贝叶斯的核心假设:给定类别后,各特征条件独立。

独立 vs 条件独立边际独立不等于条件独立,反之亦然。知道 Z 可能让原本独立的变量变得相关(对撞结构),或让相关的变量变得独立。

协方差矩阵

Σ = E[(X-μ)(X-μ)ᵀ]

对角线是方差,非对角线是协方差。对称半正定。

AI 应用
  • PCA——对协方差矩阵特征值分解
  • 白化——让协方差变成单位矩阵
  • 多元高斯——协方差矩阵是核心参数
💡 思考题
  1. 边缘分布相同,联合分布一定相同吗?
  2. 协方差为零和独立有什么区别?
✏️ 计算练习
  1. 已知联合分布表,求边缘分布和 Cov(X,Y)。
💻 代码练习
  1. 生成二维高斯样本,画散点图,计算样本协方差矩阵。

7. 马尔可夫链与随机过程

一个类比

你在玩棋盘游戏。每一步从当前格子掷骰子走到下一个格子。你下一步走到哪,只取决于你现在在哪个格子,和之前怎么走到这的无关。这就是马尔可夫性。

马尔可夫性

P(Xₜ₊₁|Xₜ, Xₜ₋₁,...) = P(Xₜ₊₁|Xₜ)

转移概率矩阵和平稳分布

Pᵢⱼ = P(Xₜ₊₁=j|Xₜ=i)。平稳分布 π 满足 π = πP。

细致平衡条件

π(i) P(i→j) = π(j) P(j→i)

如果满足细致平衡,则 π 一定是平稳分布(反之不一定)。MCMC 采样(如 Metropolis-Hastings)的关键:构造满足细致平衡的转移矩阵。

遍历性

马尔可夫链需要满足不可约(任意状态可达)和非周期才能保证收敛到唯一平稳分布。收敛速度由混合时间(mixing time)衡量。

AI 中的遍历性问题MCMC 采样如果混合时间太长,采样质量会很差。这就是为什么 HMC(哈密顿蒙特卡洛)比简单随机游走好——它利用梯度信息加速混合。

语言模型的马尔可夫视角

1-gram
0 阶马尔可夫——每个词独立
bigram
1 阶马尔可夫——只看前一个词
GPT
高阶马尔可夫——看整个上下文窗口
AI 应用
  • MCMC 采样——构造马尔可夫链采样后验
  • PageRank——平稳分布 = 网页重要性
  • 强化学习——MDP 是带奖励的马尔可夫链
💡 思考题
  1. 平稳分布存在需要什么条件?
  2. GPT 为什么不是严格的马尔可夫链?
✏️ 计算练习
  1. 转移矩阵 [[0.7,0.3],[0.4,0.6]],求平稳分布。
💻 代码练习
  1. 模拟马尔可夫链 10000 步,验证频率收敛到平稳分布。

8. 参数估计 — 从数据猜真相

一个类比

你是侦探。案发现场留下线索(数据),你想推断凶手(参数)。不同的估计方法就像不同的推理思路。

最大似然估计 MLE

θ_MLE = argmax_θ ∏ᵢ P(xᵢ|θ) = argmax_θ Σᵢ log P(xᵢ|θ)

选让数据出现概率最大的参数。取对数(对数似然)把乘积变求和,求导令其为零。

推导示例:高斯分布的 MLE

log L = -n/2 log(2πσ²) - Σᵢ(xᵢ-μ)²/(2σ²)

对 μ 求导 = 0 → μ̂ = (1/n)Σxᵢ = 样本均值。对 σ² 求导 = 0 → σ̂² = (1/n)Σ(xᵢ-μ̂)² = 样本方差(注意除以 n 不是 n-1,所以 MLE 估计的方差有偏)。

分布MLE 结果
伯努利p̂ = 成功次数/n
高斯μ̂ = 样本均值, σ̂² = 样本方差
泊松λ̂ = 样本均值

最大后验估计 MAP

θ_MAP = argmax_θ P(θ|D) = argmax_θ [log P(D|θ) + log P(θ)]

MAP = MLE + 先验的对数。当先验是高斯时,MAP = MLE + L2 正则化;当先验是拉普拉斯时,MAP = MLE + L1 正则化。

MLE vs MAPMLE 只看数据,容易过拟合。MAP 引入先验,起正则化作用。数据量大时两者趋同——数据会"淹没"先验。

Fisher 信息量

I(θ) = E[(∂log P(x|θ)/∂θ)²] = -E[∂²log P(x|θ)/∂θ²]

衡量数据对参数 θ 提供的信息量。Fisher 信息越大,MLE 的方差越小。Cramér-Rao 下界:Var(θ̂) ≥ 1/I(θ)。

估计量的评价

无偏性
E[θ̂] = θ——期望等于真值。样本方差除以 n-1 是为了无偏
一致性
n→∞ 时 θ̂→θ——大样本下收敛到真值
有效性
方差最小——达到 Cramér-Rao 下界的估计量最有效
充分性
T(x) 是充分统计量——数据中的所有信息都被 T(x) 捕获

偏差-方差权衡

MSE = Bias² + Variance

估计量的均方误差 = 偏差² + 方差。无偏但方差大的估计可能不如有偏但方差小的。这就是为什么实际中常用有偏估计(如 L2 正则化)。

核密度估计 KDE

f̂(x) = (1/nh) Σᵢ K((x-xᵢ)/h)

不假设分布形状,直接从数据估计密度。

AI 应用
  • MLE = 训练神经网络——最小化交叉熵 = 最大化似然
  • 语言模型训练——最大化 P(真实文本|参数)
💡 思考题
  1. 为什么 MLE 取对数?样本方差为什么除以 n-1?
✏️ 计算练习
  1. 数据 {2.1,2.5,2.3,2.7,2.4},用 MLE 估计 N(μ,σ²) 的参数。
💻 代码练习
  1. 用 scipy.stats 做 KDE,画密度曲线。

9. 贝叶斯推断 — 用数据更新信念

一个类比

朋友说迟到了。你猜"堵车"(先验)。他说"骑自行车"(数据)。你更新为"自行车坏了"(后验)。贝叶斯推断就是这个过程的数学化。

p(θ|D) = p(D|θ) × p(θ) / p(D)
p(θ)
先验——看数据前的信念
p(D|θ)
似然——数据提供的信息
p(θ|D)
后验——更新后的信念

共轭先验

似然共轭先验后验
伯努利BetaBeta(α+成功, β+失败)
高斯高斯高斯(更新均值)

正则化 = 先验

优美的对应
  • L2 正则化 ↔ 高斯先验
  • L1 正则化 ↔ 拉普拉斯先验
  • 无正则化 ↔ 均匀先验
MAP 估计 = MLE + 正则化。

后验预测分布

p(x_new|D) = ∫ p(x_new|θ) p(θ|D) dθ

对所有可能的参数按后验概率加权平均。这比点估计更稳健——考虑了参数的不确定性。

可信区间 vs 置信区间

贝叶斯可信区间频率派置信区间
含义参数有 95% 概率落在区间内重复采样 95% 的区间覆盖真值
直觉更自然反直觉但严谨
依赖先验 + 数据只依赖数据

贝叶斯神经网络

将神经网络的权重视为随机变量,学习权重的后验分布 p(w|D)。预测时对权重积分:

p(y|x,D) = ∫ p(y|x,w) p(w|D) dw

实际中用 MC Dropout 或深度集成来近似。

AI 应用:贝叶斯优化调参、小样本学习、不确定性估计、在线学习、贝叶斯神经网络
💡 思考题
  1. MAP = MLE + 正则化?写出公式。
✏️ 计算练习
  1. 先验 Beta(1,1),投 10 次 7 次正面,求后验。
💻 代码练习
  1. 用 scipy.stats.beta 可视化贝叶斯更新。

10. EM 算法 — 含隐变量的最大似然

一个类比

两堆苹果混在一起,分不清品种。EM:先猜每个苹果属于哪堆(E步),再更新对每堆的了解(M步),反复迭代。

为什么需要 EM

当数据有隐变量(观测不到的变量)时,直接最大化似然 p(D|θ) = ∫ p(D,z|θ)dz 很难——积分没有解析解。EM 算法通过迭代的方式绕过这个困难。

ELBO 的推导

对任意分布 q(z):

log p(D) = E_q[log p(D,z)/q(z)] + D_KL(q(z) || p(z|D))
log p(D) = ELBO + D_KL(q||p(z|D))

因为 KL ≥ 0,所以 ELBO ≤ log p(D)。ELBO 是对数似然的下界。最大化 ELBO ⟺ 最小化 q 和后验的 KL 散度。

ELBO 的两种等价写法

ELBO = E_q[log p(D|z)] - D_KL(q(z) || p(z))

第一项是重构损失(数据拟合),第二项是正则项(q 不能离先验太远)。VAE 的损失函数就是这个。

EM 两步

1
E 步——固定 θ_old,计算隐变量后验 q(z) = p(z|D,θ_old)。此时 ELBO = log p(D),KL=0
2
M 步——固定 q(z),更新 θ_new = argmax_θ ELBO。此时似然必然不下降
EM 的收敛性EM 保证每一步似然不下降,但可能收敛到局部最优。实际中常用多次随机初始化取最好的。K-Means 就是 GMM 的 EM 的特殊情况(硬分配 vs 软分配)。

EM 的直觉理解

步骤做什么类比
E 步猜测隐变量侦探猜测每个线索属于哪个嫌疑人
M 步更新参数根据猜测更新对嫌疑人的画像
收敛似然不再变化画像稳定,真相大白
AI 应用
  • GMM 聚类——隐变量是每个样本的簇归属
  • HMM 训练——Baum-Welch 算法就是 EM
  • VAE——E 步是编码器,M 步是解码器
  • 缺失数据处理——缺失值当作隐变量
💡 思考题
  1. K-Means 和 GMM 的 EM 有什么对应关系?
  2. 为什么 EM 可能收敛到局部最优?怎么缓解?
✏️ 计算练习
  1. 数据 {1,2,3,10,11,12},GMM(K=2) 做一轮 EM。
💻 代码练习
  1. 用 sklearn GMM 聚类,画概率等高线。
  2. 手写 EM 算法拟合一维 GMM,对比 sklearn 结果。

11. 假设检验 — 数据够不够"显著"

一个类比

法庭上被告推定无罪(H₀)。检察官拿证据(数据)试图证明有罪(H₁)。证据足够强就"拒绝无罪"。

基本框架

H₀
原假设——"没有效果"
H₁
备择假设——"有效果"
p 值
H₀ 为真时——观察到当前数据的概率
p 值常见误解
  • ❌ p 值是 H₀ 为真的概率
  • ❌ p > 0.05 意味着没有效果
  • ❌ p 越小效果越大
H₀ 为真H₁ 为真
拒绝 H₀I 类错误 α正确 ✓
不拒绝正确 ✓II 类错误 β

效应量(Effect Size)

p 值告诉你"有没有效果",效应量告诉你"效果有多大"。

Cohen's d = (μ₁ - μ₂) / σ_pooled
Cohen's d含义
0.2小效果
0.5中等效果
0.8大效果
统计显著 ≠ 实际显著样本量足够大时,微小的差异也会"显著"。一定要看效应量!A/B 测试中,点击率提升 0.01% 可能统计显著但商业上毫无意义。

置信区间

比 p 值更有信息量:告诉你参数的可能范围。

95% CI ≈ 估计值 ± 1.96 × 标准误差

多重检验校正

做 20 次检验,即使没有效果,也有约 1 次会"显著"(α=0.05)。

Bonferroni
α' = α/m——最保守,简单除以检验次数
FDR
Benjamini-Hochberg——控制假发现率,更宽松,适合大数据
AI 应用
  • A/B 测试——判断新模型是否真的比旧模型好
  • 特征选择——哪些特征和目标变量显著相关
  • 模型对比——两个模型的性能差异是否显著
  • 超参数搜索——多次实验需要多重检验校正
💡 思考题
  1. p 值和效果大小的区别?为什么两个都要看?
  2. 为什么大数据时代更容易犯"统计显著但实际无意义"的错误?
✏️ 计算练习
  1. 新旧算法点击率 5.2% vs 5.0%(各 1000 次),z 检验判断是否显著,并计算 Cohen's d。
💻 代码练习
  1. 用 scipy.stats.ttest_ind 做 t 检验,计算效应量和置信区间。

12. 不确定性量化与模型校准

一个类比

天气预报说 70% 下雨。如果你统计了 1000 次"70%"预报,实际只有 50% 下雨,那预报就是未校准的。

不确定性两种来源

偶然不确定性
数据噪声——不可消除
认知不确定性
模型不知道——可增加数据减少

Bootstrap 重采样

1
有放回重采样 n 个样本
2
计算统计量
3
重复 B=1000 次
4
用分位数构造置信区间

温度缩放

softmax(z/T),   T > 1 更平滑,T < 1 更尖锐

最简单的校准方法。不改变预测排序,只改变概率可信度。T 通过在验证集上最小化 NLL 学习。

ECE(Expected Calibration Error)

衡量模型校准质量的核心指标。将预测分成 M 个 bin:

ECE = Σₘ (|Bₘ|/n) × |acc(Bₘ) - conf(Bₘ)|

acc 是每个 bin 中的真实准确率,conf 是平均置信度。ECE=0 表示完美校准。

不确定性估计方法

方法类型特点
MC Dropout近似贝叶斯推理时也开 Dropout,多次前向传播取均值和方差
深度集成集成训练 N 个不同初始化的模型,用预测方差衡量不确定性
温度缩放后处理简单高效,但只校准不增加不确定性
贝叶斯神经网络精确贝叶斯最严格但计算昂贵
MC Dropout 原理Gal & Ghahramani (2016) 证明:推理时开 Dropout 等价于对后验分布的变分近似做多次采样。每次前向传播得到一个样本,多次传播的均值是预测,方差是不确定性。
AI 应用
  • 自动驾驶——不确定性高时交给人类驾驶员
  • 医疗 AI——高置信度才给出诊断,否则建议复查
  • LLM 温度参数——T 控制输出的随机性/不确定性
  • 主动学习——选择模型最不确定的样本进行标注
💡 思考题
  1. 温度缩放为什么不会改变预测类别?
  2. MC Dropout 和深度集成各有什么优缺点?
✏️ 计算练习
  1. 分 5 个 bin 画可靠性图,计算 ECE。
💻 代码练习
  1. 实现温度缩放,对比校准前后 ECE。
  2. 实现 MC Dropout 不确定性估计。

13. 回归分析 — 从数据中找规律

一个类比

你是房产中介,想根据面积预测房价。收集 100 套数据,画散点图发现大致是直线。回归就是找这条最好的线。

最小二乘 = MLE

p(y|x) = N(y|Wx+b, σ²), 最小化 MSE ⟺ 最大化似然

MSE 不是凭空发明的——它是高斯噪声假设的自然结果。

模型评估:R² 和调整 R²

R² = 1 - SS_res/SS_tot = 1 - Σ(yᵢ-ŷᵢ)²/Σ(yᵢ-ȳ)²

R² 表示模型解释了多少方差。R²=1 完美拟合,R²=0 等于预测均值。

R² 的陷阱增加任何特征都会让 R² 上升,即使特征没用。调整 R² 惩罚参数数量:R²_adj = 1 - (1-R²)(n-1)/(n-p-1)。

残差分析

好的回归模型的残差(y - ŷ)应该:

均值为零
E[残差] = 0——没有系统性偏差
同方差
方差恒定——残差不随预测值变化
正态分布
残差近似正态——Q-Q 图验证
独立
无自相关——残差之间没有模式

损失函数的概率家族

损失函数假设分布适用
MSE高斯回归
MAE拉普拉斯回归(鲁棒)
Huber高斯+拉普拉斯混合回归(兼顾两者)
交叉熵伯努利/多项式分类

正则化 = 先验

L2(Ridge):Loss = MSE + λ||w||²   ↔   高斯先验 N(0, 1/λ)
L1(Lasso):Loss = MSE + λ||w||₁   ↔   拉普拉斯先验

L1 产生稀疏解(很多权重变 0),自动做特征选择。Elastic Net = L1 + L2,兼顾两者优点。

逻辑回归详解

P(y=1|x) = σ(wᵀx + b) = 1/(1+exp(-(wᵀx+b)))

逻辑回归 = 线性模型 + sigmoid 激活。损失函数是交叉熵(负对数似然)。它不是"回归",是分类模型!

AI 应用
  • 线性回归——最简神经网络(单层无激活)
  • 逻辑回归——二分类基石,输出层 = sigmoid + BCE
  • 岭回归——权重衰减(weight decay)的来源
  • Lasso——特征选择的稀疏方法
💡 思考题
  1. 为什么 MSE 对异常值敏感而 MAE 不敏感?从概率角度解释。
  2. 逻辑回归为什么用交叉熵而不是 MSE?
✏️ 计算练习
  1. 数据 (1,2),(2,4),(3,5),求最小二乘回归和 R²。
💻 代码练习
  1. 用 sklearn 做 LinearRegression 和 LogisticRegression,画残差图。

14. 信息论 — 量化"信息"的数学

一个类比

你在玩猜数字游戏。"我想的数字在 1-8 之间"。你需要问几个"是/否"问题才能猜中?答案是 3 个(二分法)。信息量 = 3 bits。结果越"意外",信息量越大。

信息量

h(x) = -log_2 P(x)

事件 x 的信息量 = 该事件发生概率的负对数。概率越小的事件,信息量越大。"太阳从东边升起"信息量约0,"中了彩票"信息量很大。

熵

熵是信息量的期望 —— 平均信息量,衡量"不确定性":

H(X) = -sum P(x) log P(x)
H=0
完全确定——结果确定,没有不确定性
H=1 bit
掷硬币——两个等可能结果
H=log N
N个等可能结果——均匀分布熵最大

交叉熵

H(P,Q) = -sum P(x) log Q(x) = H(P) + D_KL(P||Q)

用分布 Q 来编码真实分布 P 所需的平均比特数。当 Q=P 时交叉熵最小。

KL 散度

D_KL(P||Q) = sum P(x) log(P(x)/Q(x)) >= 0
KL 散度的重要性质
  • 非负——D_KL(P||Q) >= 0,等号当且仅当 P=Q
  • 不对称——D_KL(P||Q) 不等于 D_KL(Q||P)!不是真正的距离
  • 前向 KL:Q 覆盖 P 的所有模式(mean-seeking)
  • 反向 KL:Q 集中在 P 的某个模式上(mode-seeking)

互信息

I(X;Y) = H(X) - H(X|Y) = D_KL(P(X,Y) || P(X)P(Y))

互信息衡量知道 Y 后 X 的不确定性减少了多少。I(X;Y)=0 当且仅当 X 和 Y 独立。

AI 应用
  • 交叉熵损失——分类任务的标准损失函数。最小化交叉熵 = 最小化 KL 散度
  • VAE——KL 散度作为正则项,让潜在分布接近标准正态
  • 信息瓶颈——好的表示应最大化和标签的互信息,最小化和输入的互信息
  • 决策树——用信息增益(互信息)选择分裂特征
思考题
  1. 为什么交叉熵是分类任务的"正确"损失函数?从最大似然角度解释。
  2. KL 散度为什么不对称?前向 KL 和反向 KL 各有什么特点?
计算练习
  1. P=[0.5,0.5], Q=[0.9,0.1]。计算 H(P)、H(P,Q)、D_KL(P||Q)。再算 D_KL(Q||P),对比是否相等。
代码练习
  1. 用 scipy.stats.entropy 计算两个分布的 KL 散度,验证不对称性。

15. 最大熵原理与指数族

一个类比

你要猜一个骰子各面的概率。你只知道平均值是 3.5(约束)。最大熵原理说:选均匀分布 P(i)=1/6。因为在"均值=3.5"的约束下,均匀分布的熵最大,是最"客观"的猜测。

最大熵原理

在满足已知约束的所有分布中,选择熵最大的那个:

max H(P) = -sum P(x) log P(x), subject to: E[f_k(x)] = c_k

用拉格朗日乘子法求解,得到的最优分布属于指数族。

指数族分布

p(x|theta) = h(x) exp(theta^T T(x) - A(theta))

theta 是自然参数,T(x) 是充分统计量,A(theta) 是对数配分函数。

分布自然参数充分统计量
伯努利log(p/(1-p))x
高斯(已知方差)mu/sigma^2x
泊松log lambdax
多项式log(p_k/p_K)one-hot(x)

指数族的优美性质

充分统计量
数据可以被压缩——只需要 T(x) 而不需要全部数据就能估计参数
共轭先验
贝叶斯推断有解析解——指数族的共轭先验也是指数族
GLM 框架
统一的建模框架——线性回归、逻辑回归、泊松回归都是 GLM 的特例
AI 应用
  • Softmax 是指数族的自然参数化——多分类输出层对应多项式分布
  • 自然梯度下降——在参数空间中考虑信息几何的梯度下降
  • 最大熵模型——NLP 中的最大熵分类器
思考题
  1. 为什么最大熵原理选择的分布是"最客观"的?
  2. 高斯分布是指数族的成员吗?写出自然参数形式。
计算练习
  1. 已知约束 E[X]=5,用最大熵原理推导满足此约束的连续分布是什么?
代码练习
  1. 验证不同分布都属于指数族,写出自然参数和充分统计量。

16. 蒙特卡洛方法 — 用随机数解决一切

一个类比

估算湖泊面积。随机扔石子数落在湖里的比例。扔得越多越准。

蒙特卡洛估计

E[f(X)] ≈ (1/N) Σᵢ f(xᵢ), 其中 xᵢ ~ p(x)

大数定律保证收敛。中心极限定理给出收敛速度 O(1/√N)——精度提高 10 倍需要 100 倍样本。

采样方法大全

拒绝采样(Rejection Sampling)

从容易采样的提议分布 q(x) 采样,以概率 M·q(x)/f(x) 接受。简单但效率低(高维时大部分样本被拒绝)。

重要性采样(Importance Sampling)

E_p[f(x)] = E_q[f(x) × p(x)/q(x)] ≈ (1/N) Σᵢ f(xᵢ) × wᵢ

从 q 采样,用权重 w = p/q 修正。关键:选好的 q 可以大幅降低方差。在 RL(PPO)和 LLM(RLHF)中广泛使用。

Gibbs 采样

每次只更新一个维度,从条件分布 p(xⱼ|x₋ⱼ) 采样。适合高维分布,但相邻样本高度相关。

Metropolis-Hastings

提出新样本,以 min(1, p(x')q(x|x')/(p(x)q(x'|x))) 概率接受。MCMC 的通用框架。

哈密顿蒙特卡洛(HMC)

引入"动量"变量,用哈密顿动力学模拟采样轨迹。利用梯度信息,大幅提高高维采样效率。NUTS(No-U-Turn Sampler)是 HMC 的自适应版本,Stan 和 PyMC 的默认采样器。

方法优点缺点
拒绝采样简单高维效率极低
重要性采样可估计期望方差可能很大
Gibbs逐维更新高相关,混合慢
HMC高维高效需要梯度

SGD 的噪声正则化视角

SGD = 带噪声的梯度下降。mini-batch 梯度的噪声近似高斯,帮助跳出鞍点和局部最优。

语言模型采样策略

策略方法效果
Temperaturesoftmax(z/T)T 大更随机,T 小更确定
Top-k最高 k 个采样去掉低概率 token
Top-p (nucleus)累积概率达 p自适应候选集大小
Min-p概率 ≥ p_max × threshold相对阈值,更稳定
AI 应用
  • MCMC 贝叶斯推断——从后验分布采样
  • 重要性采样——PPO 的核心,RLHF 的奖励加权
  • SGD 理解——噪声是隐式正则化
  • LLM 生成——采样策略决定输出质量
💡 思考题
  1. Top-p 比 Top-k 好在哪?举一个具体例子。
  2. 为什么 HMC 比随机游走 MH 高效得多?
✏️ 计算练习
  1. 蒙特卡洛估计 π:在单位正方形内随机投点,计算落在单位圆内的比例。
💻 代码练习
  1. 实现 Metropolis-Hastings 算法从 N(0,1) 采样。
  2. 实现重要性采样估计 E[X²],X~N(0,1)。

17. 变分推断 — 用优化代替采样

一个类比

画复杂油画太难,找最接近的简笔画。优化让它越来越像。

核心思想

后验分布 p(θ|D) 通常难以计算。变分推断用一个简单的分布 q(θ) 去近似它,通过最小化 KL 散度:

q* = argmin_q D_KL(q(θ) || p(θ|D))

直接优化 KL 散度需要知道后验(循环论证),所以转为最大化 ELBO:

log p(D) = ELBO + D_KL(q||p(θ|D)), 其中 ELBO = E_q[log p(D,θ)] - E_q[log q(θ)]

均值场假设

假设 q(θ) 可以分解为各维度独立:

q(θ) = ∏ⱼ qⱼ(θⱼ)

这是最关键的简化。每个 qⱼ 可以用坐标上升法交替优化:

log qⱼ(θⱼ) = E_{q_{-j}}[log p(D,θ)] + const

ELBO 的两种等价写法

ELBO = E_q[log p(D|θ)] - D_KL(q(θ) || p(θ))

第一项是重构损失(数据拟合),第二项是正则项(q 不能离先验太远)。VAE 的损失函数就是这个。

重参数化技巧

θ = μ + σ × ε,   ε ~ N(0,1)

把采样的随机性转移到 ε,让 μ 和 σ 的梯度可以正常反向传播。没有重参数化,采样操作不可微,梯度为零。

重参数化为什么让采样可微?原来:θ ~ q(θ),采样是随机操作,梯度为零。重参数化后:θ = g(μ,σ,ε),g 是确定性函数,梯度可以通过 g 传播。ε 的随机性不影响梯度。

变分推断 vs MCMC

变分推断MCMC
速度快(优化问题)慢(需要大量采样)
精度近似(受 q 族限制)渐近精确
可扩展性好(SGD 优化)差(难以 mini-batch)
不确定性倾向于低估更准确

黑盒变分推断(BBVI)

用蒙特卡洛估计 ELBO 的梯度,不需要解析推导。适合复杂模型。得分函数估计器(REINFORCE)方差大,重参数化估计器方差小。

AI 应用
  • VAE——编码器是 q(z|x),解码器是 p(x|z)
  • 贝叶斯神经网络——用变分近似权重后验
  • 扩散模型——训练目标是 ELBO 的变体
  • 主题模型——LDA 的变分推断
💡 思考题
  1. 重参数化为什么让采样可微?画出计算图解释。
  2. 均值场假设有什么局限?什么时候会严重低估不确定性?
✏️ 计算练习
  1. 先验 N(0,1),似然 N(θ,1),观测 x=2。用均值场 VI 推导 q(θ) 的更新公式。
💻 代码练习
  1. PyTorch 实现重参数化技巧。
  2. 实现简单的 VI 推断一维高斯后验。

18. 概率图模型 — 用图表示依赖关系

一个类比

想象一个家族族谱。每个人是一个节点,父子关系是边。通过族谱你可以快速判断"两个人是否有亲戚关系"。概率图模型就是随机变量的"族谱"。

有向图模型(贝叶斯网络)

用有向无环图(DAG)表示因果/依赖关系:

P(X1, X2, ..., Xn) = prod_i P(Xi | Parents(Xi))

例如:下雨 -> 路湿 -> 交通事故。通过分解联合分布,大大减少参数数量。

D-分离:判断条件独立性

链 A->B->C
给定 B,A 和 C 独立——知道 B 后,A 的信息对 C 没有额外价值
分叉 A<-B->C
给定 B,A 和 C 独立——B 是共同原因,控制 B 后 A 和 C 解耦
对撞 A->B<-C
不给定 B 时 A 和 C 独立——但给定 B 后 A 和 C 反而相关!"解释消除"效应

无向图模型(马尔可夫随机场)

用无向图表示相关关系。联合分布用团和势函数表示:P(x) = (1/Z) prod psi_k(x_k)。

精确推断与近似推断

方法类型特点
变量消元精确按顺序消去变量
信念传播精确(树)树上消息传递
变分推断近似优化问题
MCMC近似采样,渐近精确
AI 应用
  • 朴素贝叶斯——最简单的贝叶斯网络
  • HMM——隐状态是马尔可夫链
  • LDA——文档->主题->词的层次网络
  • 因果推断——因果图就是贝叶斯网络
思考题
  1. 朴素贝叶斯的"朴素"体现在哪里?为什么实际效果还不错?
  2. 对撞结构中为什么给定 B 后 A 和 C 变得相关?
计算练习
  1. 画贝叶斯网络:感冒->咳嗽,感冒->发烧,过敏->咳嗽。判断感冒和过敏是否独立?给定咳嗽后呢?
代码练习
  1. 用 pgmpy 库构建贝叶斯网络做概率推断。

19. 高斯过程 — 无限维的贝叶斯

一个类比

你想画一条穿过数据点的曲线。有很多种可能的曲线。高斯过程说:每条曲线有一个"概率",越平滑、越符合数据的曲线概率越高。预测时,把所有可能的曲线按概率加权平均。

定义

高斯过程 GP(m(x), k(x,x')) 完全由两个函数决定:

均值函数
m(x) = E[f(x)]——函数在每个点的期望值,通常设为 0
核函数
k(x,x') = Cov(f(x), f(x'))——两个点的函数值之间的相关性,决定平滑度

性质:任意有限个点的联合分布是多元高斯分布。

常见核函数

核函数公式效果
RBF(径向基)exp(-||x-x'||^2/(2l^2))无限可微,非常平滑
Matern包含 Bessel 函数可控平滑度
多项式(x^T x' + c)^dd 次多项式函数
周期核exp(-2sin^2(pi|x-x'|/p)/l^2)周期性函数

高斯过程回归 GPR

mu* = K*^T (K + sigma^2 I)^{-1} y
sigma*^2 = k(x*,x*) - K*^T (K + sigma^2 I)^{-1} K*

预测均值是训练数据的加权组合,预测方差衡量不确定性。

超参数优化

通过最大化边际似然选择核函数超参数:

log p(y|X,theta) = -0.5 y^T K^{-1} y - 0.5 log|K| - (n/2)log(2pi)

边际似然平衡"拟合好坏"和"模型复杂度"。

计算瓶颈GPR 需要对 n*n 核矩阵求逆,复杂度 O(n^3)。稀疏 GP 可降低到 O(nm^2)。
AI 应用
  • 贝叶斯优化——用 GP 建模超参数->性能的映射
  • 不确定性估计——GP 天然输出预测不确定性
  • 小数据回归——数据量小时 GP 比神经网络更可靠
思考题
  1. 核函数的选择如何影响 GP 预测?RBF 和 Matern 有什么区别?
  2. GP 预测不确定性在远离训练数据时会怎样变化?
计算练习
  1. 对 1D 数据 {(0,1),(1,2),(2,1.5)} 用 RBF 核 GPR,手算预测点 x*=0.5 的均值和方差。
代码练习
  1. 用 sklearn.gaussian_process 做 GPR,画预测均值和置信区间。

20. 生成模型的概率视角

判别模型学 P(y|x),生成模型学 P(x) —— 数据本身的分布。学会了 P(x),就能生成新的数据。

一个类比

判别模型像鉴别专家 —— 给你一张图告诉你"这是猫还是狗"。生成模型像画家 —— 学会了猫和狗的"画法",能画出新的猫和狗。

GAN 的概率视角

min_G max_D E[log D(x)] + E[log(1-D(G(z)))]

让生成器的分布 P_G 接近真实分布 P_data。原始 GAN 最小化 JS 散度,WGAN 最小化 Wasserstein 距离。

归一化流 Normalizing Flows

x = f_K(f_{K-1}(...f_1(z)...)), z ~ N(0,I)
log p(x) = log p(z) - sum_k log|det(df_k/df_{k-1})|

通过可逆变换把简单分布变成复杂分布。精确似然,快速采样。

能量模型 EBM

p(x) = exp(-E(x)) / Z

E(x) 越低概率越高。配分函数 Z 难算,用对比散度或得分匹配训练。

VAE 的概率视角

log p(x) ≥ ELBO = E_q[log p(x|z)] - D_KL(q(z|x) || p(z))

编码器 q(z|x) 近似后验 p(z|x),解码器 p(x|z) 从隐变量重建数据。训练最大化 ELBO = 重构损失 + KL 正则。

VAE 的 KL 退火训练初期 KL 项太强,编码器直接忽略输入,输出接近 N(0,1)——叫后验坍塌(posterior collapse)。解决:先用小的 KL 权重,逐渐增大到 1。

GAN 的训练难题

模式崩塌
生成器只生成少数几种样本——忽略数据分布的其他模式
训练不稳定
G 和 D 的博弈——一方太强另一方梯度消失
评估困难
不能算似然——用 FID、IS 等间接指标

解决方案:WGAN(Wasserstein 距离)、谱归一化、渐进式训练。

四种生成模型对比

GANVAEFlowDiffusion
似然不能算下界精确下界
采样快快快慢
训练不稳定稳定稳定稳定
质量高中中最高
多样性差(模式崩塌)好好好
AI 应用
  • GAN——StyleGAN 图像生成、数据增强、超分辨率
  • 归一化流——密度估计、异常检测
  • 能量模型——对比学习 SimCLR
  • Score Matching——扩散模型的理论基础
思考题
  1. GAN 为什么不直接计算似然?它用什么替代?
  2. 归一化流的变量替换定理为什么能精确计算概率?
计算练习
  1. x = az + b 的归一化流,推导 p(x) 的表达式,验证它是 N(b, a^2)。
代码练习
  1. 用 PyTorch 实现简单 2D 归一化流,训练后画生成的点云。

21. 扩散模型的概率基础

扩散模型是当前最强大的生成模型 —— Stable Diffusion、DALL-E、Sora 都基于它。

一个类比

你有一张清晰的照片。每天往上面撒一点沙子,T天后完全变成随机噪点(前向过程)。扩散模型学的是"怎么把沙子一步一步扫掉"(反向过程)。

前向过程

q(x_t|x_{t-1}) = N(x_t; sqrt(1-beta_t) x_{t-1}, beta_t I)

关键性质:可以直接从 x_0 跳到任意 x_t:

q(x_t|x_0) = N(x_t; sqrt(alpha_bar_t) x_0, (1-alpha_bar_t) I)

当 T 趋近无穷时,x_t 趋近标准正态分布 N(0,I)。

反向过程和训练目标

p_theta(x_{t-1}|x_t) = N(x_{t-1}; mu_theta(x_t,t), Sigma_theta(x_t,t))
L = E[||epsilon - epsilon_theta(x_t, t)||^2]

预测添加的噪声 epsilon。三种等价目标:

预测目标含义
预测噪声 epsilon预测前向过程添加的噪声
预测 x_0预测原始干净数据
预测分数预测 nabla log p(x_t)

采样过程

1
从纯噪声 x_T ~ N(0,I) 开始
2
逐步去噪:对 t=T,T-1,...,1 用模型预测噪声并计算 x_{t-1}
3
得到干净数据 x_0

DDIM 加速采样

DDPM 需要 T=1000 步,太慢。DDIM 可以跳步采样,只用 50-100 步。

与得分匹配的联系

预测噪声 ε_θ(x_t, t) 实际上等价于学习得分函数 ∇log p(x_t)。得分是概率密度的梯度,指向概率增加最快的方向。去噪 = 沿得分方向走。

统一视角扩散模型 = 随机微分方程(SDE)+ 得分匹配。DDPM 是离散化版本,SMLD(Score Matching with Langevin Dynamics)是连续版本。Song et al. (2020) 证明两者是同一框架的特例。
AI 应用
  • Stable Diffusion——潜在空间扩散 + CLIP 文本条件
  • DALL-E——扩散模型 + CLIP 对齐
  • Sora——视频扩散模型
  • 音频/3D 生成——扩散模型向多模态扩展
思考题
  1. 为什么训练目标可以简化为"预测噪声"?
  2. DDIM 为什么能跳步采样?
计算练习
  1. beta=0.01,alpha_bar_10 约 0.349,x_0=1,求 q(x_10|x_0) 的均值和方差。
代码练习
  1. 用 diffusers 库加载 DDPM 模型生成图片。

22. 强化学习的概率基础

一个类比

你在训练一只小狗。小狗做了动作(坐下、握手),你给奖励(零食)。小狗慢慢学会哪些动作能获得更多零食。

MDP:(S, A, P, R, gamma)

S
状态空间——环境所有可能状态
A
动作空间——Agent 可做的所有动作
P
转移概率——P(s'|s,a)
R
奖励函数——R(s,a)
gamma
折扣因子——衡量未来奖励的重要性

贝尔曼方程

V*(s) = max_a [R(s,a) + gamma sum P(s'|s,a) V*(s')]

当前状态的价值 = 即时奖励 + 折扣后的下一状态价值。

动态规划:价值迭代与策略迭代

1
价值迭代——反复应用贝尔曼最优方程:V(s) ← max_a [R(s,a) + γ Σ P(s'|s,a) V(s')]。收敛到最优 V*
2
策略迭代——交替进行:①评估当前策略的 V(s);②贪心更新策略。保证单调改进

当状态空间太大(如图像)时,用函数近似(神经网络)代替表格——这就是 DQN。

策略梯度定理

∇J(θ) = E[∇log π_θ(a|s) × Q(s,a)]

Q 值高的动作增加概率,Q 值低的减少概率。直觉:好的动作做更多,差的动作做更少。

Actor-Critic

策略梯度 + 价值函数近似 = Actor-Critic:

Actor
策略网络 π(a|s)——决定做什么动作
Critic
价值网络 V(s)——评价状态好不好
优势函数
A(s,a) = Q(s,a) - V(s)——动作比平均好多少,降低方差

PPO 与 DPO

PPO: L = E[min(r(θ)A, clip(r(θ), 1-ε, 1+ε)A)], r(θ) = π_new/π_old

PPO 用 clip 限制策略更新幅度,防止大步更新导致崩溃。DPO 直接从偏好数据优化,跳过奖励模型:

DPO: L = -E[log σ(β(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))]

RLHF 流程

1
SFT——用人类标注数据微调
2
奖励模型——人类偏好排序训练奖励模型
3
PPO——用奖励信号微调模型
AI 应用
  • ChatGPT/Claude——RLHF/DPO 让输出符合人类偏好
  • 游戏 AI——AlphaGo、OpenAI Five
  • 机器人控制——学会走路、抓取
思考题
  1. 贝尔曼方程的递归性质有什么好处?
  2. DPO 比 RLHF 好在哪里?
计算练习
  1. 简单 MDP 手算最优 V*。
代码练习
  1. 用 gymnasium 的 CartPole 实现 REINFORCE 算法。

23. 因果推断入门

"相关不等于因果"是统计学最经典的警告。因果推断是从数据中识别真正因果关系的数学框架。

一个类比

你发现"用某个学习 App 的学生成绩更好"。这是因果吗?也许好学生本来就更愿意用 App(自选择偏差)。

相关 vs 因果

相关因果
定义X 和 Y 一起变化改变 X 会导致 Y 变化
方向对称有方向(X->Y)
干预不涉及涉及 do(X)

do 算子

观察: P(Y|X=x) —— 看到 X=x 后 Y 的分布
干预: P(Y|do(X=x)) —— 强制设 X=x 后 Y 的分布

关键区别:观察时 X 的所有原因也影响 Y。do(X=x) 切断 X 和父节点的联系。

混淆变量和辛普森悖论

辛普森悖论在每个子群体中 A 比 B 好,但合并后 B 比 A 好。原因是混淆变量在不同子群体中分布不同。

后门准则

如果变量集合 Z 阻断了 X 和 Y 之间所有后门路径:

P(Y|do(X=x)) = sum_z P(Y|X=x,Z=z) P(Z=z)

工具变量法

当混淆变量不可观测时,用工具变量 IV:IV 影响 X,但不直接影响 Y。

AI 应用
  • 推荐系统去偏——用户点击不等于喜欢
  • 广告效果评估——看到广告的人可能本来就要买
  • 公平性——判断特征是否因果地影响决策
思考题
  1. P(Y|X=x) 和 P(Y|do(X=x)) 什么时候相等?
  2. 为什么 RCT 是因果推断的金标准?
计算练习
  1. 画因果图:天气->冰淇淋销量,天气->溺水。控制天气后两者是否还有相关性?
代码练习
  1. 用 dowhy 库做因果效应估计。

24. 动手实战 - 用代码实现概率模型

实战1:MLE 估计正态参数

Pythonimport numpy as np np.random.seed(42) data = np.random.normal(3.0, 2.0, size=1000) mu_mle = np.mean(data) sigma_mle = np.sqrt(np.mean((data - mu_mle)**2)) print(f"MLE: mu={mu_mle:.4f}, sigma={sigma_mle:.4f}")

实战2:贝叶斯线性回归

Pythonfrom numpy.linalg import inv X = np.random.randn(50, 1) y = 2 * X.ravel() + 1 + np.random.randn(50) * 0.5 Xd = np.hstack([X, np.ones_like(X)]) alpha, beta = 1.0, 4.0 S = inv(alpha * np.eye(2) + beta * Xd.T @ Xd) m = beta * S @ Xd.T @ y print(f"posterior mean: w={m}")

实战3:Gibbs 采样

Pythonrho = 0.8; samples = np.zeros((5000, 2)); x = np.array([0.0, 0.0]) for i in range(5000): x[0] = np.random.normal(rho * x[1], np.sqrt(1 - rho**2)) x[1] = np.random.normal(rho * x[0], np.sqrt(1 - rho**2)) samples[i] = x

实战4:简单 VAE

Pythonimport torch, torch.nn as nn class VAE(nn.Module): def __init__(self): super().__init__() self.enc = nn.Sequential( nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 64), nn.ReLU() ) self.fc_mu = nn.Linear(64, 2) self.fc_lv = nn.Linear(64, 2) self.dec = nn.Sequential( nn.Linear(2, 64), nn.ReLU(), nn.Linear(64, 256), nn.ReLU(), nn.Linear(256, 784), nn.Sigmoid() ) def forward(self, x): h = self.enc(x) mu, lv = self.fc_mu(h), self.fc_lv(h) # 重参数化技巧:z = mu + sigma * epsilon z = mu + torch.exp(0.5 * lv) * torch.randn_like(mu) return self.dec(z), mu, lv # 训练循环 def train_vae(model, dataloader, epochs=10): optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(epochs): total_loss = 0 for x, _ in dataloader: x = x.view(-1, 784) x_recon, mu, lv = model(x) # 损失 = 重构损失 + KL 散度 recon = nn.functional.binary_cross_entropy(x_recon, x, reduction='sum') kl = -0.5 * torch.sum(1 + lv - mu.pow(2) - lv.exp()) loss = recon + kl optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {total_loss:.2f}")
恭喜!掌握了概率论与统计学的核心知识,你就拥有了AI工程师的完整概率思维。

📋 AI 概率速查表

概念公式AI 用途
贝叶斯定理P(A|B) = P(B|A)P(A)/P(B)后验更新、分类
MLEθ = argmax P(D|θ)训练 = 最小化交叉熵
MAPθ = argmax P(θ|D)训练 + 正则化
ELBOE[log p(x|z)] - KL(q||p)VAE、变分推断
KL 散度D_KL(P||Q) = Σ P log(P/Q)损失函数、正则项
交叉熵H(P,Q) = -Σ P log Q分类损失
互信息I(X;Y) = H(X) - H(X|Y)特征选择、表示学习
Fisher 信息I(θ) = E[(∂log p/∂θ)²]自然梯度、Cramér-Rao
分布记号均值方差AI 应用
伯努利Ber(p)pp(1-p)二分类、Dropout
分类Cat(π)π—多分类输出
高斯N(μ,σ²)μσ²权重初始化、噪声
BetaBeta(α,β)α/(α+β)—伯努利的共轭先验
DirichletDir(α)αᵢ/Σα—多项式的共轭先验
均匀U(a,b)(a+b)/2(b-a)²/12初始化、采样

推荐学习资源

资源类型推荐理由
StatQuest视频YouTube最好的统计入门
PRML (Bishop)书籍ML概率视角圣经
All of Statistics书籍CS人写的统计精要
MacKay免费PDF信息论+概率+ML
Seeing Theory网站概率可视化教程

概率论是AI的思维方式。学会它,你就能用不确定性的眼光看世界。

面向深度学习和AI工程师 2026