1. 为什么学 AI 必须懂概率与统计
很多人学 AI 的时候,上来就学 PyTorch、调模型、跑训练。结果一遇到 loss 不收敛、模型输出乱七八糟、过拟合严重,就懵了。根本原因往往是:概率论与统计学没学好。
一个类比
学 AI 不懂概率论,就像学开车不懂交通规则。你可以踩油门、转方向盘,但遇到红绿灯不知道该停还是该走。概率论就是 AI 的"交通规则"——它决定了模型怎么从数据中学习、怎么做判断、怎么表达"我不确定"。
AI 的本质是概率推理
分类
输出的是概率分布——softmax 输出 [0.1, 0.7, 0.2] 表示"70% 概率是猫"。
生成
本质是采样——ChatGPT 每次输出一个 token,都是从概率分布中采样。
训练
本质是最大似然——最小化交叉熵损失 = 最大化数据的似然函数。
优化
SGD 是随机过程——mini-batch 带来随机噪声,帮助跳出局部最优。
不确定性
模型需要说"我不知道"——自动驾驶、医疗 AI 必须量化不确定性。
不懂概率会怎样
| 场景 | 不懂概率 | 懂概率 |
| 损失函数 | 只知道"分类用交叉熵",不知道为什么 | 理解交叉熵 = 负对数似然 |
| 过拟合 | 无脑加 dropout、加数据 | 从贝叶斯角度理解:正则化 = 先验 |
| VAE | 看不懂 ELBO 公式 | 理解 ELBO 是变分推断的核心 |
| 扩散模型 | 只知道"加噪声再去噪" | 理解马尔可夫链和变分推断框架 |
| RLHF | 照着教程抄代码 | 理解奖励模型、策略梯度、PPO 的概率基础 |
好消息:你不需要成为统计学家AI 工程师需要的概率统计侧重点不同。你需要的是:直觉(公式在说什么)+ 应用(AI 里怎么用)+ 动手(代码能跑通)。
学习路线建议
1
第 1-7 章:基础概念——概率、随机变量、分布、期望方差、联合分布、马尔可夫链。大概 1-2 周。
2
第 8-13 章:统计推断——参数估计、贝叶斯推断、EM 算法、假设检验、不确定性量化、回归。大概 2-3 周。
3
第 14-17 章:信息论与优化——信息论、最大熵、蒙特卡洛、变分推断。大概 2 周。
4
第 18-24 章:AI 概率模型——图模型、高斯过程、生成模型、扩散模型、RL、因果推断、实战。
2. 概率基础 — 不确定性的数学语言
概率是量化"不确定性"的数学语言。天气预报说"明天 70% 会下雨",这就是概率——它不是确定的,但给了你一个量化的判断依据。
一个类比
想象你有一个不均匀的骰子——掷出 6 的概率是 30%,其他面各 14%。你不能确定下一次掷出什么,但你知道每个结果的"可能性"有多大。
样本空间和事件
样本空间 Ω——所有可能结果的集合。事件——样本空间的子集。概率函数 P——给每个事件分配一个 [0,1] 的数。
概率的三大公理
条件概率
P(A|B) = P(A∩B) / P(B)
直觉:你原本觉得明天下雨概率 30%。看到乌云密布后更新为 80%。条件概率就是用新信息更新旧判断。
全概率公式
P(A) = Σᵢ P(A|Bᵢ) × P(Bᵢ)
把每种"原因"下 A 发生的概率加权求和。分而治之的思想。
贝叶斯定理 — AI 的灵魂公式
P(A|B) = P(B|A) × P(A) / P(B)
2
P(B|A)——似然。如果 A 为真,观察到 B 的概率。
AI 应用:贝叶斯定理无处不在- 垃圾邮件过滤——P(垃圾邮件|某些词)
- LLM token 预测——P(下一个词|上下文)
- 分类器——朴素贝叶斯直接用贝叶斯定理
- 贝叶斯优化——用贝叶斯定理更新超参数信念
独立性
A 和 B 独立 ⟺ P(A∩B) = P(A) × P(B)。
独立 ≠ 互斥互斥:A 和 B 不能同时发生。独立:A 和 B 的发生互不影响。互斥事件一定不独立。
💡 思考题- 贝叶斯定理中先验、似然、后验分别代表什么?
- P(A|B) 和 P(B|A) 有什么区别?
✏️ 计算练习- 一种病患病率 1%。检测准确率 99%。检测阳性实际得病概率多少?
💻 代码练习- 用 Python 模拟医学检测问题,验证贝叶斯公式。
3. 随机变量 — 把随机结果变成数字
随机变量是把"随机事件的结果"映射成数字的函数。
一个类比
你去参加抽奖。抽奖箱里有各种奖品。随机变量 X 给每个奖品标一个金额——谢谢参与=0 元,小玩偶=50 元,大电视=5000 元。虽然不知道会抽到什么,但 X 让你可以用数字来分析。
离散随机变量
伯努利分布 Bernoulli(p)
P(X=1) = p, P(X=0) = 1-p
只有两个结果。AI 中:二分类标签、Dropout mask。
二项分布 Binomial(n, p)
P(X=k) = C(n,k) × p^k × (1-p)^(n-k)
n 次独立伯努利试验的成功次数。
泊松分布 Poisson(λ)
P(X=k) = e^(-λ) × λ^k / k!
单位时间内事件发生次数。当 n 大 p 小时,二项分布近似泊松。
连续随机变量
PDF(概率密度函数) f(x):P(a ≤ X ≤ b) = ∫ₐᵇ f(x)dx。注意 f(x) 本身可以大于 1,但积分必须为 1。
CDF(累积分布函数) F(x) = P(X ≤ x) = ∫₋∞ˣ f(t)dt。CDF 单调递增,F(-∞)=0,F(+∞)=1。
PDF 和 CDF 的关系CDF 是 PDF 的积分(F'=f),PDF 是 CDF 的导数。在 AI 中,CDF 常用于概率积分变换:如果 X~F,则 F(X)~Uniform(0,1)。这是生成模型中常用的技巧。
均匀分布 Uniform(a, b)
f(x) = 1/(b-a), a ≤ x ≤ b
指数分布 Exponential(λ)
f(x) = λe^(-λx), x ≥ 0
等待时间分布。无记忆性。
| 分布 | 类型 | AI 应用 |
| 伯努利 | 离散 | 二分类标签、Dropout |
| 二项 | 离散 | A/B 测试成功次数 |
| 泊松 | 离散 | 稀疏事件建模 |
| 均匀 | 连续 | 权重初始化、随机采样 |
| 指数 | 连续 | 等待时间 |
| 高斯 | 连续 | 无处不在(下一章) |
💡 思考题- PMF 和 PDF 的区别?为什么连续变量单点概率为零?
- 伯努利、二项、泊松之间的关系?
✏️ 计算练习- 硬币正面概率 0.6,投 5 次,求恰好 3 次正面的概率。
💻 代码练习- 用 numpy.random 生成 10000 个伯努利样本,验证均值 ≈ p。
4. 高斯分布 — AI 中最重要的分布
如果你只能记住一种分布,那就记住高斯分布。它在 AI 中无处不在。
一个类比
你测量 1000 个成年男性的身高,画成直方图,发现它长得像一个钟形——中间高、两边低、左右对称。这就是高斯分布。
数学定义
f(x) = (1/√(2πσ²)) × exp(-(x-μ)²/(2σ²))
记作 X ~ N(μ, σ²)。μ 是均值,σ² 是方差。
68-95-99.7 法则
±2σ
约 95%数据落在 [μ-2σ, μ+2σ]
±3σ
约 99.7%数据落在 [μ-3σ, μ+3σ]
中心极限定理
不管原始分布是什么形状,大量独立随机变量的和近似服从高斯分布。这就是高斯无处不在的根本原因。
AI 中的体现- 权重初始化——He/Xavier 用高斯分布
- BatchNorm——假设输出近似高斯
- SGD 噪声——mini-batch 梯度噪声近似高斯
多元高斯分布
p(x) = (1/√((2π)ⁿ|Σ|)) × exp(-½(x-μ)ᵀΣ⁻¹(x-μ))
μ 是均值向量,Σ 是协方差矩阵。Σ 的特征向量决定椭圆轴方向,特征值决定轴长度。
高斯混合模型 GMM
p(x) = Σₖ πₖ × N(x|μₖ, Σₖ)
多个高斯叠加,可以近似任意分布。用于聚类、密度估计、语音识别。
💡 思考题- 中心极限定理为什么解释了高斯分布的普遍性?
- 多元高斯的协方差矩阵特征值和特征向量分别表示什么?
✏️ 计算练习- 设 X ~ N(3, 4),求 P(1 ≤ X ≤ 5)。
💻 代码练习- 生成 10000 个 N(0,1) 样本,验证 68-95-99.7 法则。
5. 期望、方差与矩 — 描述分布的"指纹"
一个类比
你去菜市场买苹果。期望就是"平均价格",方差就是"价格波动"。知道了平均价和波动幅度,你对市场就有大致了解了。
期望
E[X] = Σᵢ xᵢ P(X=xᵢ) 或 E[X] = ∫ x f(x) dx
分布的"重心"——随机变量的长期平均值。
期望的线性性质(最重要的性质)
E[aX + bY] = aE[X] + bE[Y]
不需要 X 和 Y 独立!这个性质在 AI 中无处不在:梯度的期望等于期望的梯度(SGD 无偏性的基础)。
Jensen 不等式
如果 φ 是凸函数,则 E[φ(X)] ≥ φ(E[X])
AI 应用:ELBO 的推导依赖 Jensen 不等式。对数函数是凹函数,所以 E[log X] ≤ log E[X]。
高阶矩
二阶中心矩
方差 Var(X)——分布的宽度/离散程度
三阶标准化矩
偏度 Skewness——分布的不对称性。正态分布偏度为 0
四阶标准化矩
峰度 Kurtosis——分布尾部的厚度。正态分布峰度为 3
方差和标准差
Var(X) = E[(X-μ)²] = E[X²] - [E(X)]²
σ = √Var(X) 是标准差,和 X 同单位。
协方差和相关系数
Cov(X,Y) = E[XY] - E[X]E[Y], ρ = Cov(X,Y)/(σₓσᵧ)
相关 ≠ 因果ρ=0 不代表独立,只说明没有线性关系。
大数定律与切比雪夫不等式
X̄ₙ → E[X](大数定律), P(|X-μ|≥kσ) ≤ 1/k²(切比雪夫)
AI 应用- BatchNorm——用均值方差归一化
- Adam——用梯度的一阶矩和二阶矩自适应调整学习率
- 权重初始化——保证每层输出方差稳定
💡 思考题- 为什么方差用平方而不是绝对值?
- 大数定律和中心极限定理的区别?
✏️ 计算练习- X 取值 1,2,3,4,5 概率各 0.2,求 E[X] 和 Var(X)。
💻 代码练习- 生成 10000 个 N(0,1) 样本,计算均值方差,观察大数定律收敛。
6. 联合分布与边缘分布 — 多变量的世界
一个类比
一个班级有 50 个学生,每个有数学和语文成绩。联合分布就是"数学 90 且语文 80 的学生有多少"。边缘分布就是"不管语文,只看数学的分布"。
联合分布
两个变量同时分布:P(X=x, Y=y) 或联合 PDF f(x,y)。
边缘分布
P(X=x) = Σᵧ P(X=x, Y=y)
从联合分布中"求和掉"一个变量。
条件分布与独立性
P(Y|X) = P(X,Y)/P(X), 独立 ⟺ P(X,Y) = P(X)P(Y)
条件独立
X ⊥ Y | Z ⟺ P(X,Y|Z) = P(X|Z)P(Y|Z)
给定 Z 后 X 和 Y 独立。朴素贝叶斯的核心假设:给定类别后,各特征条件独立。
独立 vs 条件独立边际独立不等于条件独立,反之亦然。知道 Z 可能让原本独立的变量变得相关(对撞结构),或让相关的变量变得独立。
协方差矩阵
Σ = E[(X-μ)(X-μ)ᵀ]
对角线是方差,非对角线是协方差。对称半正定。
AI 应用- PCA——对协方差矩阵特征值分解
- 白化——让协方差变成单位矩阵
- 多元高斯——协方差矩阵是核心参数
💡 思考题- 边缘分布相同,联合分布一定相同吗?
- 协方差为零和独立有什么区别?
✏️ 计算练习- 已知联合分布表,求边缘分布和 Cov(X,Y)。
💻 代码练习- 生成二维高斯样本,画散点图,计算样本协方差矩阵。
7. 马尔可夫链与随机过程
一个类比
你在玩棋盘游戏。每一步从当前格子掷骰子走到下一个格子。你下一步走到哪,只取决于你现在在哪个格子,和之前怎么走到这的无关。这就是马尔可夫性。
马尔可夫性
P(Xₜ₊₁|Xₜ, Xₜ₋₁,...) = P(Xₜ₊₁|Xₜ)
转移概率矩阵和平稳分布
Pᵢⱼ = P(Xₜ₊₁=j|Xₜ=i)。平稳分布 π 满足 π = πP。
细致平衡条件
π(i) P(i→j) = π(j) P(j→i)
如果满足细致平衡,则 π 一定是平稳分布(反之不一定)。MCMC 采样(如 Metropolis-Hastings)的关键:构造满足细致平衡的转移矩阵。
遍历性
马尔可夫链需要满足不可约(任意状态可达)和非周期才能保证收敛到唯一平稳分布。收敛速度由混合时间(mixing time)衡量。
AI 中的遍历性问题MCMC 采样如果混合时间太长,采样质量会很差。这就是为什么 HMC(哈密顿蒙特卡洛)比简单随机游走好——它利用梯度信息加速混合。
语言模型的马尔可夫视角
AI 应用- MCMC 采样——构造马尔可夫链采样后验
- PageRank——平稳分布 = 网页重要性
- 强化学习——MDP 是带奖励的马尔可夫链
💡 思考题- 平稳分布存在需要什么条件?
- GPT 为什么不是严格的马尔可夫链?
✏️ 计算练习- 转移矩阵 [[0.7,0.3],[0.4,0.6]],求平稳分布。
💻 代码练习- 模拟马尔可夫链 10000 步,验证频率收敛到平稳分布。
8. 参数估计 — 从数据猜真相
一个类比
你是侦探。案发现场留下线索(数据),你想推断凶手(参数)。不同的估计方法就像不同的推理思路。
最大似然估计 MLE
θ_MLE = argmax_θ ∏ᵢ P(xᵢ|θ) = argmax_θ Σᵢ log P(xᵢ|θ)
选让数据出现概率最大的参数。取对数(对数似然)把乘积变求和,求导令其为零。
推导示例:高斯分布的 MLE
log L = -n/2 log(2πσ²) - Σᵢ(xᵢ-μ)²/(2σ²)
对 μ 求导 = 0 → μ̂ = (1/n)Σxᵢ = 样本均值。对 σ² 求导 = 0 → σ̂² = (1/n)Σ(xᵢ-μ̂)² = 样本方差(注意除以 n 不是 n-1,所以 MLE 估计的方差有偏)。
| 分布 | MLE 结果 |
| 伯努利 | p̂ = 成功次数/n |
| 高斯 | μ̂ = 样本均值, σ̂² = 样本方差 |
| 泊松 | λ̂ = 样本均值 |
最大后验估计 MAP
θ_MAP = argmax_θ P(θ|D) = argmax_θ [log P(D|θ) + log P(θ)]
MAP = MLE + 先验的对数。当先验是高斯时,MAP = MLE + L2 正则化;当先验是拉普拉斯时,MAP = MLE + L1 正则化。
MLE vs MAPMLE 只看数据,容易过拟合。MAP 引入先验,起正则化作用。数据量大时两者趋同——数据会"淹没"先验。
Fisher 信息量
I(θ) = E[(∂log P(x|θ)/∂θ)²] = -E[∂²log P(x|θ)/∂θ²]
衡量数据对参数 θ 提供的信息量。Fisher 信息越大,MLE 的方差越小。Cramér-Rao 下界:Var(θ̂) ≥ 1/I(θ)。
估计量的评价
无偏性
E[θ̂] = θ——期望等于真值。样本方差除以 n-1 是为了无偏
有效性
方差最小——达到 Cramér-Rao 下界的估计量最有效
充分性
T(x) 是充分统计量——数据中的所有信息都被 T(x) 捕获
偏差-方差权衡
MSE = Bias² + Variance
估计量的均方误差 = 偏差² + 方差。无偏但方差大的估计可能不如有偏但方差小的。这就是为什么实际中常用有偏估计(如 L2 正则化)。
核密度估计 KDE
f̂(x) = (1/nh) Σᵢ K((x-xᵢ)/h)
不假设分布形状,直接从数据估计密度。
AI 应用- MLE = 训练神经网络——最小化交叉熵 = 最大化似然
- 语言模型训练——最大化 P(真实文本|参数)
💡 思考题- 为什么 MLE 取对数?样本方差为什么除以 n-1?
✏️ 计算练习- 数据 {2.1,2.5,2.3,2.7,2.4},用 MLE 估计 N(μ,σ²) 的参数。
💻 代码练习- 用 scipy.stats 做 KDE,画密度曲线。
9. 贝叶斯推断 — 用数据更新信念
一个类比
朋友说迟到了。你猜"堵车"(先验)。他说"骑自行车"(数据)。你更新为"自行车坏了"(后验)。贝叶斯推断就是这个过程的数学化。
p(θ|D) = p(D|θ) × p(θ) / p(D)
共轭先验
| 似然 | 共轭先验 | 后验 |
| 伯努利 | Beta | Beta(α+成功, β+失败) |
| 高斯 | 高斯 | 高斯(更新均值) |
正则化 = 先验
优美的对应- L2 正则化 ↔ 高斯先验
- L1 正则化 ↔ 拉普拉斯先验
- 无正则化 ↔ 均匀先验
MAP 估计 = MLE + 正则化。
后验预测分布
p(x_new|D) = ∫ p(x_new|θ) p(θ|D) dθ
对所有可能的参数按后验概率加权平均。这比点估计更稳健——考虑了参数的不确定性。
可信区间 vs 置信区间
| 贝叶斯可信区间 | 频率派置信区间 |
| 含义 | 参数有 95% 概率落在区间内 | 重复采样 95% 的区间覆盖真值 |
| 直觉 | 更自然 | 反直觉但严谨 |
| 依赖 | 先验 + 数据 | 只依赖数据 |
贝叶斯神经网络
将神经网络的权重视为随机变量,学习权重的后验分布 p(w|D)。预测时对权重积分:
p(y|x,D) = ∫ p(y|x,w) p(w|D) dw
实际中用 MC Dropout 或深度集成来近似。
AI 应用:贝叶斯优化调参、小样本学习、不确定性估计、在线学习、贝叶斯神经网络
💡 思考题- MAP = MLE + 正则化?写出公式。
✏️ 计算练习- 先验 Beta(1,1),投 10 次 7 次正面,求后验。
💻 代码练习- 用 scipy.stats.beta 可视化贝叶斯更新。
10. EM 算法 — 含隐变量的最大似然
一个类比
两堆苹果混在一起,分不清品种。EM:先猜每个苹果属于哪堆(E步),再更新对每堆的了解(M步),反复迭代。
为什么需要 EM
当数据有隐变量(观测不到的变量)时,直接最大化似然 p(D|θ) = ∫ p(D,z|θ)dz 很难——积分没有解析解。EM 算法通过迭代的方式绕过这个困难。
ELBO 的推导
对任意分布 q(z):
log p(D) = E_q[log p(D,z)/q(z)] + D_KL(q(z) || p(z|D))
log p(D) = ELBO + D_KL(q||p(z|D))
因为 KL ≥ 0,所以 ELBO ≤ log p(D)。ELBO 是对数似然的下界。最大化 ELBO ⟺ 最小化 q 和后验的 KL 散度。
ELBO 的两种等价写法
ELBO = E_q[log p(D|z)] - D_KL(q(z) || p(z))
第一项是重构损失(数据拟合),第二项是正则项(q 不能离先验太远)。VAE 的损失函数就是这个。
EM 两步
1
E 步——固定 θ_old,计算隐变量后验 q(z) = p(z|D,θ_old)。此时 ELBO = log p(D),KL=0
2
M 步——固定 q(z),更新 θ_new = argmax_θ ELBO。此时似然必然不下降
EM 的收敛性EM 保证每一步似然不下降,但可能收敛到局部最优。实际中常用多次随机初始化取最好的。K-Means 就是 GMM 的 EM 的特殊情况(硬分配 vs 软分配)。
EM 的直觉理解
| 步骤 | 做什么 | 类比 |
| E 步 | 猜测隐变量 | 侦探猜测每个线索属于哪个嫌疑人 |
| M 步 | 更新参数 | 根据猜测更新对嫌疑人的画像 |
| 收敛 | 似然不再变化 | 画像稳定,真相大白 |
AI 应用- GMM 聚类——隐变量是每个样本的簇归属
- HMM 训练——Baum-Welch 算法就是 EM
- VAE——E 步是编码器,M 步是解码器
- 缺失数据处理——缺失值当作隐变量
💡 思考题- K-Means 和 GMM 的 EM 有什么对应关系?
- 为什么 EM 可能收敛到局部最优?怎么缓解?
✏️ 计算练习- 数据 {1,2,3,10,11,12},GMM(K=2) 做一轮 EM。
💻 代码练习- 用 sklearn GMM 聚类,画概率等高线。
- 手写 EM 算法拟合一维 GMM,对比 sklearn 结果。
11. 假设检验 — 数据够不够"显著"
一个类比
法庭上被告推定无罪(H₀)。检察官拿证据(数据)试图证明有罪(H₁)。证据足够强就"拒绝无罪"。
基本框架
p 值常见误解- ❌ p 值是 H₀ 为真的概率
- ❌ p > 0.05 意味着没有效果
- ❌ p 越小效果越大
| H₀ 为真 | H₁ 为真 |
| 拒绝 H₀ | I 类错误 α | 正确 ✓ |
| 不拒绝 | 正确 ✓ | II 类错误 β |
效应量(Effect Size)
p 值告诉你"有没有效果",效应量告诉你"效果有多大"。
Cohen's d = (μ₁ - μ₂) / σ_pooled
| Cohen's d | 含义 |
| 0.2 | 小效果 |
| 0.5 | 中等效果 |
| 0.8 | 大效果 |
统计显著 ≠ 实际显著样本量足够大时,微小的差异也会"显著"。一定要看效应量!A/B 测试中,点击率提升 0.01% 可能统计显著但商业上毫无意义。
置信区间
比 p 值更有信息量:告诉你参数的可能范围。
95% CI ≈ 估计值 ± 1.96 × 标准误差
多重检验校正
做 20 次检验,即使没有效果,也有约 1 次会"显著"(α=0.05)。
Bonferroni
α' = α/m——最保守,简单除以检验次数
FDR
Benjamini-Hochberg——控制假发现率,更宽松,适合大数据
AI 应用- A/B 测试——判断新模型是否真的比旧模型好
- 特征选择——哪些特征和目标变量显著相关
- 模型对比——两个模型的性能差异是否显著
- 超参数搜索——多次实验需要多重检验校正
💡 思考题- p 值和效果大小的区别?为什么两个都要看?
- 为什么大数据时代更容易犯"统计显著但实际无意义"的错误?
✏️ 计算练习- 新旧算法点击率 5.2% vs 5.0%(各 1000 次),z 检验判断是否显著,并计算 Cohen's d。
💻 代码练习- 用 scipy.stats.ttest_ind 做 t 检验,计算效应量和置信区间。
12. 不确定性量化与模型校准
一个类比
天气预报说 70% 下雨。如果你统计了 1000 次"70%"预报,实际只有 50% 下雨,那预报就是未校准的。
不确定性两种来源
Bootstrap 重采样
温度缩放
softmax(z/T), T > 1 更平滑,T < 1 更尖锐
最简单的校准方法。不改变预测排序,只改变概率可信度。T 通过在验证集上最小化 NLL 学习。
ECE(Expected Calibration Error)
衡量模型校准质量的核心指标。将预测分成 M 个 bin:
ECE = Σₘ (|Bₘ|/n) × |acc(Bₘ) - conf(Bₘ)|
acc 是每个 bin 中的真实准确率,conf 是平均置信度。ECE=0 表示完美校准。
不确定性估计方法
| 方法 | 类型 | 特点 |
| MC Dropout | 近似贝叶斯 | 推理时也开 Dropout,多次前向传播取均值和方差 |
| 深度集成 | 集成 | 训练 N 个不同初始化的模型,用预测方差衡量不确定性 |
| 温度缩放 | 后处理 | 简单高效,但只校准不增加不确定性 |
| 贝叶斯神经网络 | 精确贝叶斯 | 最严格但计算昂贵 |
MC Dropout 原理Gal & Ghahramani (2016) 证明:推理时开 Dropout 等价于对后验分布的变分近似做多次采样。每次前向传播得到一个样本,多次传播的均值是预测,方差是不确定性。
AI 应用- 自动驾驶——不确定性高时交给人类驾驶员
- 医疗 AI——高置信度才给出诊断,否则建议复查
- LLM 温度参数——T 控制输出的随机性/不确定性
- 主动学习——选择模型最不确定的样本进行标注
💡 思考题- 温度缩放为什么不会改变预测类别?
- MC Dropout 和深度集成各有什么优缺点?
✏️ 计算练习- 分 5 个 bin 画可靠性图,计算 ECE。
💻 代码练习- 实现温度缩放,对比校准前后 ECE。
- 实现 MC Dropout 不确定性估计。
13. 回归分析 — 从数据中找规律
一个类比
你是房产中介,想根据面积预测房价。收集 100 套数据,画散点图发现大致是直线。回归就是找这条最好的线。
最小二乘 = MLE
p(y|x) = N(y|Wx+b, σ²), 最小化 MSE ⟺ 最大化似然
MSE 不是凭空发明的——它是高斯噪声假设的自然结果。
模型评估:R² 和调整 R²
R² = 1 - SS_res/SS_tot = 1 - Σ(yᵢ-ŷᵢ)²/Σ(yᵢ-ȳ)²
R² 表示模型解释了多少方差。R²=1 完美拟合,R²=0 等于预测均值。
R² 的陷阱增加任何特征都会让 R² 上升,即使特征没用。调整 R² 惩罚参数数量:R²_adj = 1 - (1-R²)(n-1)/(n-p-1)。
残差分析
好的回归模型的残差(y - ŷ)应该:
损失函数的概率家族
| 损失函数 | 假设分布 | 适用 |
| MSE | 高斯 | 回归 |
| MAE | 拉普拉斯 | 回归(鲁棒) |
| Huber | 高斯+拉普拉斯混合 | 回归(兼顾两者) |
| 交叉熵 | 伯努利/多项式 | 分类 |
正则化 = 先验
L2(Ridge):Loss = MSE + λ||w||² ↔ 高斯先验 N(0, 1/λ)
L1(Lasso):Loss = MSE + λ||w||₁ ↔ 拉普拉斯先验
L1 产生稀疏解(很多权重变 0),自动做特征选择。Elastic Net = L1 + L2,兼顾两者优点。
逻辑回归详解
P(y=1|x) = σ(wᵀx + b) = 1/(1+exp(-(wᵀx+b)))
逻辑回归 = 线性模型 + sigmoid 激活。损失函数是交叉熵(负对数似然)。它不是"回归",是分类模型!
AI 应用- 线性回归——最简神经网络(单层无激活)
- 逻辑回归——二分类基石,输出层 = sigmoid + BCE
- 岭回归——权重衰减(weight decay)的来源
- Lasso——特征选择的稀疏方法
💡 思考题- 为什么 MSE 对异常值敏感而 MAE 不敏感?从概率角度解释。
- 逻辑回归为什么用交叉熵而不是 MSE?
✏️ 计算练习- 数据 (1,2),(2,4),(3,5),求最小二乘回归和 R²。
💻 代码练习- 用 sklearn 做 LinearRegression 和 LogisticRegression,画残差图。
14. 信息论 — 量化"信息"的数学
一个类比
你在玩猜数字游戏。"我想的数字在 1-8 之间"。你需要问几个"是/否"问题才能猜中?答案是 3 个(二分法)。信息量 = 3 bits。结果越"意外",信息量越大。
信息量
h(x) = -log_2 P(x)
事件 x 的信息量 = 该事件发生概率的负对数。概率越小的事件,信息量越大。"太阳从东边升起"信息量约0,"中了彩票"信息量很大。
熵
熵是信息量的期望 —— 平均信息量,衡量"不确定性":
H(X) = -sum P(x) log P(x)
交叉熵
H(P,Q) = -sum P(x) log Q(x) = H(P) + D_KL(P||Q)
用分布 Q 来编码真实分布 P 所需的平均比特数。当 Q=P 时交叉熵最小。
KL 散度
D_KL(P||Q) = sum P(x) log(P(x)/Q(x)) >= 0
KL 散度的重要性质- 非负——D_KL(P||Q) >= 0,等号当且仅当 P=Q
- 不对称——D_KL(P||Q) 不等于 D_KL(Q||P)!不是真正的距离
- 前向 KL:Q 覆盖 P 的所有模式(mean-seeking)
- 反向 KL:Q 集中在 P 的某个模式上(mode-seeking)
互信息
I(X;Y) = H(X) - H(X|Y) = D_KL(P(X,Y) || P(X)P(Y))
互信息衡量知道 Y 后 X 的不确定性减少了多少。I(X;Y)=0 当且仅当 X 和 Y 独立。
AI 应用- 交叉熵损失——分类任务的标准损失函数。最小化交叉熵 = 最小化 KL 散度
- VAE——KL 散度作为正则项,让潜在分布接近标准正态
- 信息瓶颈——好的表示应最大化和标签的互信息,最小化和输入的互信息
- 决策树——用信息增益(互信息)选择分裂特征
思考题- 为什么交叉熵是分类任务的"正确"损失函数?从最大似然角度解释。
- KL 散度为什么不对称?前向 KL 和反向 KL 各有什么特点?
计算练习- P=[0.5,0.5], Q=[0.9,0.1]。计算 H(P)、H(P,Q)、D_KL(P||Q)。再算 D_KL(Q||P),对比是否相等。
代码练习- 用 scipy.stats.entropy 计算两个分布的 KL 散度,验证不对称性。
15. 最大熵原理与指数族
一个类比
你要猜一个骰子各面的概率。你只知道平均值是 3.5(约束)。最大熵原理说:选均匀分布 P(i)=1/6。因为在"均值=3.5"的约束下,均匀分布的熵最大,是最"客观"的猜测。
最大熵原理
在满足已知约束的所有分布中,选择熵最大的那个:
max H(P) = -sum P(x) log P(x), subject to: E[f_k(x)] = c_k
用拉格朗日乘子法求解,得到的最优分布属于指数族。
指数族分布
p(x|theta) = h(x) exp(theta^T T(x) - A(theta))
theta 是自然参数,T(x) 是充分统计量,A(theta) 是对数配分函数。
| 分布 | 自然参数 | 充分统计量 |
| 伯努利 | log(p/(1-p)) | x |
| 高斯(已知方差) | mu/sigma^2 | x |
| 泊松 | log lambda | x |
| 多项式 | log(p_k/p_K) | one-hot(x) |
指数族的优美性质
充分统计量
数据可以被压缩——只需要 T(x) 而不需要全部数据就能估计参数
共轭先验
贝叶斯推断有解析解——指数族的共轭先验也是指数族
GLM 框架
统一的建模框架——线性回归、逻辑回归、泊松回归都是 GLM 的特例
AI 应用- Softmax 是指数族的自然参数化——多分类输出层对应多项式分布
- 自然梯度下降——在参数空间中考虑信息几何的梯度下降
- 最大熵模型——NLP 中的最大熵分类器
思考题- 为什么最大熵原理选择的分布是"最客观"的?
- 高斯分布是指数族的成员吗?写出自然参数形式。
计算练习- 已知约束 E[X]=5,用最大熵原理推导满足此约束的连续分布是什么?
代码练习- 验证不同分布都属于指数族,写出自然参数和充分统计量。
16. 蒙特卡洛方法 — 用随机数解决一切
一个类比
估算湖泊面积。随机扔石子数落在湖里的比例。扔得越多越准。
蒙特卡洛估计
E[f(X)] ≈ (1/N) Σᵢ f(xᵢ), 其中 xᵢ ~ p(x)
大数定律保证收敛。中心极限定理给出收敛速度 O(1/√N)——精度提高 10 倍需要 100 倍样本。
采样方法大全
拒绝采样(Rejection Sampling)
从容易采样的提议分布 q(x) 采样,以概率 M·q(x)/f(x) 接受。简单但效率低(高维时大部分样本被拒绝)。
重要性采样(Importance Sampling)
E_p[f(x)] = E_q[f(x) × p(x)/q(x)] ≈ (1/N) Σᵢ f(xᵢ) × wᵢ
从 q 采样,用权重 w = p/q 修正。关键:选好的 q 可以大幅降低方差。在 RL(PPO)和 LLM(RLHF)中广泛使用。
Gibbs 采样
每次只更新一个维度,从条件分布 p(xⱼ|x₋ⱼ) 采样。适合高维分布,但相邻样本高度相关。
Metropolis-Hastings
提出新样本,以 min(1, p(x')q(x|x')/(p(x)q(x'|x))) 概率接受。MCMC 的通用框架。
哈密顿蒙特卡洛(HMC)
引入"动量"变量,用哈密顿动力学模拟采样轨迹。利用梯度信息,大幅提高高维采样效率。NUTS(No-U-Turn Sampler)是 HMC 的自适应版本,Stan 和 PyMC 的默认采样器。
| 方法 | 优点 | 缺点 |
| 拒绝采样 | 简单 | 高维效率极低 |
| 重要性采样 | 可估计期望 | 方差可能很大 |
| Gibbs | 逐维更新 | 高相关,混合慢 |
| HMC | 高维高效 | 需要梯度 |
SGD 的噪声正则化视角
SGD = 带噪声的梯度下降。mini-batch 梯度的噪声近似高斯,帮助跳出鞍点和局部最优。
语言模型采样策略
| 策略 | 方法 | 效果 |
| Temperature | softmax(z/T) | T 大更随机,T 小更确定 |
| Top-k | 最高 k 个采样 | 去掉低概率 token |
| Top-p (nucleus) | 累积概率达 p | 自适应候选集大小 |
| Min-p | 概率 ≥ p_max × threshold | 相对阈值,更稳定 |
AI 应用- MCMC 贝叶斯推断——从后验分布采样
- 重要性采样——PPO 的核心,RLHF 的奖励加权
- SGD 理解——噪声是隐式正则化
- LLM 生成——采样策略决定输出质量
💡 思考题- Top-p 比 Top-k 好在哪?举一个具体例子。
- 为什么 HMC 比随机游走 MH 高效得多?
✏️ 计算练习- 蒙特卡洛估计 π:在单位正方形内随机投点,计算落在单位圆内的比例。
💻 代码练习- 实现 Metropolis-Hastings 算法从 N(0,1) 采样。
- 实现重要性采样估计 E[X²],X~N(0,1)。
17. 变分推断 — 用优化代替采样
一个类比
画复杂油画太难,找最接近的简笔画。优化让它越来越像。
核心思想
后验分布 p(θ|D) 通常难以计算。变分推断用一个简单的分布 q(θ) 去近似它,通过最小化 KL 散度:
q* = argmin_q D_KL(q(θ) || p(θ|D))
直接优化 KL 散度需要知道后验(循环论证),所以转为最大化 ELBO:
log p(D) = ELBO + D_KL(q||p(θ|D)), 其中 ELBO = E_q[log p(D,θ)] - E_q[log q(θ)]
均值场假设
假设 q(θ) 可以分解为各维度独立:
q(θ) = ∏ⱼ qⱼ(θⱼ)
这是最关键的简化。每个 qⱼ 可以用坐标上升法交替优化:
log qⱼ(θⱼ) = E_{q_{-j}}[log p(D,θ)] + const
ELBO 的两种等价写法
ELBO = E_q[log p(D|θ)] - D_KL(q(θ) || p(θ))
第一项是重构损失(数据拟合),第二项是正则项(q 不能离先验太远)。VAE 的损失函数就是这个。
重参数化技巧
θ = μ + σ × ε, ε ~ N(0,1)
把采样的随机性转移到 ε,让 μ 和 σ 的梯度可以正常反向传播。没有重参数化,采样操作不可微,梯度为零。
重参数化为什么让采样可微?原来:θ ~ q(θ),采样是随机操作,梯度为零。重参数化后:θ = g(μ,σ,ε),g 是确定性函数,梯度可以通过 g 传播。ε 的随机性不影响梯度。
变分推断 vs MCMC
| 变分推断 | MCMC |
| 速度 | 快(优化问题) | 慢(需要大量采样) |
| 精度 | 近似(受 q 族限制) | 渐近精确 |
| 可扩展性 | 好(SGD 优化) | 差(难以 mini-batch) |
| 不确定性 | 倾向于低估 | 更准确 |
黑盒变分推断(BBVI)
用蒙特卡洛估计 ELBO 的梯度,不需要解析推导。适合复杂模型。得分函数估计器(REINFORCE)方差大,重参数化估计器方差小。
AI 应用- VAE——编码器是 q(z|x),解码器是 p(x|z)
- 贝叶斯神经网络——用变分近似权重后验
- 扩散模型——训练目标是 ELBO 的变体
- 主题模型——LDA 的变分推断
💡 思考题- 重参数化为什么让采样可微?画出计算图解释。
- 均值场假设有什么局限?什么时候会严重低估不确定性?
✏️ 计算练习- 先验 N(0,1),似然 N(θ,1),观测 x=2。用均值场 VI 推导 q(θ) 的更新公式。
💻 代码练习- PyTorch 实现重参数化技巧。
- 实现简单的 VI 推断一维高斯后验。
18. 概率图模型 — 用图表示依赖关系
一个类比
想象一个家族族谱。每个人是一个节点,父子关系是边。通过族谱你可以快速判断"两个人是否有亲戚关系"。概率图模型就是随机变量的"族谱"。
有向图模型(贝叶斯网络)
用有向无环图(DAG)表示因果/依赖关系:
P(X1, X2, ..., Xn) = prod_i P(Xi | Parents(Xi))
例如:下雨 -> 路湿 -> 交通事故。通过分解联合分布,大大减少参数数量。
D-分离:判断条件独立性
链 A->B->C
给定 B,A 和 C 独立——知道 B 后,A 的信息对 C 没有额外价值
分叉 A<-B->C
给定 B,A 和 C 独立——B 是共同原因,控制 B 后 A 和 C 解耦
对撞 A->B<-C
不给定 B 时 A 和 C 独立——但给定 B 后 A 和 C 反而相关!"解释消除"效应
无向图模型(马尔可夫随机场)
用无向图表示相关关系。联合分布用团和势函数表示:P(x) = (1/Z) prod psi_k(x_k)。
精确推断与近似推断
| 方法 | 类型 | 特点 |
| 变量消元 | 精确 | 按顺序消去变量 |
| 信念传播 | 精确(树) | 树上消息传递 |
| 变分推断 | 近似 | 优化问题 |
| MCMC | 近似 | 采样,渐近精确 |
AI 应用- 朴素贝叶斯——最简单的贝叶斯网络
- HMM——隐状态是马尔可夫链
- LDA——文档->主题->词的层次网络
- 因果推断——因果图就是贝叶斯网络
思考题- 朴素贝叶斯的"朴素"体现在哪里?为什么实际效果还不错?
- 对撞结构中为什么给定 B 后 A 和 C 变得相关?
计算练习- 画贝叶斯网络:感冒->咳嗽,感冒->发烧,过敏->咳嗽。判断感冒和过敏是否独立?给定咳嗽后呢?
代码练习- 用 pgmpy 库构建贝叶斯网络做概率推断。
19. 高斯过程 — 无限维的贝叶斯
一个类比
你想画一条穿过数据点的曲线。有很多种可能的曲线。高斯过程说:每条曲线有一个"概率",越平滑、越符合数据的曲线概率越高。预测时,把所有可能的曲线按概率加权平均。
定义
高斯过程 GP(m(x), k(x,x')) 完全由两个函数决定:
均值函数
m(x) = E[f(x)]——函数在每个点的期望值,通常设为 0
核函数
k(x,x') = Cov(f(x), f(x'))——两个点的函数值之间的相关性,决定平滑度
性质:任意有限个点的联合分布是多元高斯分布。
常见核函数
| 核函数 | 公式 | 效果 |
| RBF(径向基) | exp(-||x-x'||^2/(2l^2)) | 无限可微,非常平滑 |
| Matern | 包含 Bessel 函数 | 可控平滑度 |
| 多项式 | (x^T x' + c)^d | d 次多项式函数 |
| 周期核 | exp(-2sin^2(pi|x-x'|/p)/l^2) | 周期性函数 |
高斯过程回归 GPR
mu* = K*^T (K + sigma^2 I)^{-1} y
sigma*^2 = k(x*,x*) - K*^T (K + sigma^2 I)^{-1} K*
预测均值是训练数据的加权组合,预测方差衡量不确定性。
超参数优化
通过最大化边际似然选择核函数超参数:
log p(y|X,theta) = -0.5 y^T K^{-1} y - 0.5 log|K| - (n/2)log(2pi)
边际似然平衡"拟合好坏"和"模型复杂度"。
计算瓶颈GPR 需要对 n*n 核矩阵求逆,复杂度 O(n^3)。稀疏 GP 可降低到 O(nm^2)。
AI 应用- 贝叶斯优化——用 GP 建模超参数->性能的映射
- 不确定性估计——GP 天然输出预测不确定性
- 小数据回归——数据量小时 GP 比神经网络更可靠
思考题- 核函数的选择如何影响 GP 预测?RBF 和 Matern 有什么区别?
- GP 预测不确定性在远离训练数据时会怎样变化?
计算练习- 对 1D 数据 {(0,1),(1,2),(2,1.5)} 用 RBF 核 GPR,手算预测点 x*=0.5 的均值和方差。
代码练习- 用 sklearn.gaussian_process 做 GPR,画预测均值和置信区间。
20. 生成模型的概率视角
判别模型学 P(y|x),生成模型学 P(x) —— 数据本身的分布。学会了 P(x),就能生成新的数据。
一个类比
判别模型像鉴别专家 —— 给你一张图告诉你"这是猫还是狗"。生成模型像画家 —— 学会了猫和狗的"画法",能画出新的猫和狗。
GAN 的概率视角
min_G max_D E[log D(x)] + E[log(1-D(G(z)))]
让生成器的分布 P_G 接近真实分布 P_data。原始 GAN 最小化 JS 散度,WGAN 最小化 Wasserstein 距离。
归一化流 Normalizing Flows
x = f_K(f_{K-1}(...f_1(z)...)), z ~ N(0,I)
log p(x) = log p(z) - sum_k log|det(df_k/df_{k-1})|
通过可逆变换把简单分布变成复杂分布。精确似然,快速采样。
能量模型 EBM
p(x) = exp(-E(x)) / Z
E(x) 越低概率越高。配分函数 Z 难算,用对比散度或得分匹配训练。
VAE 的概率视角
log p(x) ≥ ELBO = E_q[log p(x|z)] - D_KL(q(z|x) || p(z))
编码器 q(z|x) 近似后验 p(z|x),解码器 p(x|z) 从隐变量重建数据。训练最大化 ELBO = 重构损失 + KL 正则。
VAE 的 KL 退火训练初期 KL 项太强,编码器直接忽略输入,输出接近 N(0,1)——叫后验坍塌(posterior collapse)。解决:先用小的 KL 权重,逐渐增大到 1。
GAN 的训练难题
模式崩塌
生成器只生成少数几种样本——忽略数据分布的其他模式
训练不稳定
G 和 D 的博弈——一方太强另一方梯度消失
评估困难
不能算似然——用 FID、IS 等间接指标
解决方案:WGAN(Wasserstein 距离)、谱归一化、渐进式训练。
四种生成模型对比
| GAN | VAE | Flow | Diffusion |
| 似然 | 不能算 | 下界 | 精确 | 下界 |
| 采样 | 快 | 快 | 快 | 慢 |
| 训练 | 不稳定 | 稳定 | 稳定 | 稳定 |
| 质量 | 高 | 中 | 中 | 最高 |
| 多样性 | 差(模式崩塌) | 好 | 好 | 好 |
AI 应用- GAN——StyleGAN 图像生成、数据增强、超分辨率
- 归一化流——密度估计、异常检测
- 能量模型——对比学习 SimCLR
- Score Matching——扩散模型的理论基础
思考题- GAN 为什么不直接计算似然?它用什么替代?
- 归一化流的变量替换定理为什么能精确计算概率?
计算练习- x = az + b 的归一化流,推导 p(x) 的表达式,验证它是 N(b, a^2)。
代码练习- 用 PyTorch 实现简单 2D 归一化流,训练后画生成的点云。
21. 扩散模型的概率基础
扩散模型是当前最强大的生成模型 —— Stable Diffusion、DALL-E、Sora 都基于它。
一个类比
你有一张清晰的照片。每天往上面撒一点沙子,T天后完全变成随机噪点(前向过程)。扩散模型学的是"怎么把沙子一步一步扫掉"(反向过程)。
前向过程
q(x_t|x_{t-1}) = N(x_t; sqrt(1-beta_t) x_{t-1}, beta_t I)
关键性质:可以直接从 x_0 跳到任意 x_t:
q(x_t|x_0) = N(x_t; sqrt(alpha_bar_t) x_0, (1-alpha_bar_t) I)
当 T 趋近无穷时,x_t 趋近标准正态分布 N(0,I)。
反向过程和训练目标
p_theta(x_{t-1}|x_t) = N(x_{t-1}; mu_theta(x_t,t), Sigma_theta(x_t,t))
L = E[||epsilon - epsilon_theta(x_t, t)||^2]
预测添加的噪声 epsilon。三种等价目标:
| 预测目标 | 含义 |
| 预测噪声 epsilon | 预测前向过程添加的噪声 |
| 预测 x_0 | 预测原始干净数据 |
| 预测分数 | 预测 nabla log p(x_t) |
采样过程
2
逐步去噪:对 t=T,T-1,...,1 用模型预测噪声并计算 x_{t-1}
DDIM 加速采样
DDPM 需要 T=1000 步,太慢。DDIM 可以跳步采样,只用 50-100 步。
与得分匹配的联系
预测噪声 ε_θ(x_t, t) 实际上等价于学习得分函数 ∇log p(x_t)。得分是概率密度的梯度,指向概率增加最快的方向。去噪 = 沿得分方向走。
统一视角扩散模型 = 随机微分方程(SDE)+ 得分匹配。DDPM 是离散化版本,SMLD(Score Matching with Langevin Dynamics)是连续版本。Song et al. (2020) 证明两者是同一框架的特例。
AI 应用- Stable Diffusion——潜在空间扩散 + CLIP 文本条件
- DALL-E——扩散模型 + CLIP 对齐
- Sora——视频扩散模型
- 音频/3D 生成——扩散模型向多模态扩展
思考题- 为什么训练目标可以简化为"预测噪声"?
- DDIM 为什么能跳步采样?
计算练习- beta=0.01,alpha_bar_10 约 0.349,x_0=1,求 q(x_10|x_0) 的均值和方差。
代码练习- 用 diffusers 库加载 DDPM 模型生成图片。
22. 强化学习的概率基础
一个类比
你在训练一只小狗。小狗做了动作(坐下、握手),你给奖励(零食)。小狗慢慢学会哪些动作能获得更多零食。
MDP:(S, A, P, R, gamma)
贝尔曼方程
V*(s) = max_a [R(s,a) + gamma sum P(s'|s,a) V*(s')]
当前状态的价值 = 即时奖励 + 折扣后的下一状态价值。
动态规划:价值迭代与策略迭代
1
价值迭代——反复应用贝尔曼最优方程:V(s) ← max_a [R(s,a) + γ Σ P(s'|s,a) V(s')]。收敛到最优 V*
2
策略迭代——交替进行:①评估当前策略的 V(s);②贪心更新策略。保证单调改进
当状态空间太大(如图像)时,用函数近似(神经网络)代替表格——这就是 DQN。
策略梯度定理
∇J(θ) = E[∇log π_θ(a|s) × Q(s,a)]
Q 值高的动作增加概率,Q 值低的减少概率。直觉:好的动作做更多,差的动作做更少。
Actor-Critic
策略梯度 + 价值函数近似 = Actor-Critic:
Actor
策略网络 π(a|s)——决定做什么动作
优势函数
A(s,a) = Q(s,a) - V(s)——动作比平均好多少,降低方差
PPO 与 DPO
PPO: L = E[min(r(θ)A, clip(r(θ), 1-ε, 1+ε)A)], r(θ) = π_new/π_old
PPO 用 clip 限制策略更新幅度,防止大步更新导致崩溃。DPO 直接从偏好数据优化,跳过奖励模型:
DPO: L = -E[log σ(β(log π(y_w|x)/π_ref(y_w|x) - log π(y_l|x)/π_ref(y_l|x)))]
RLHF 流程
AI 应用- ChatGPT/Claude——RLHF/DPO 让输出符合人类偏好
- 游戏 AI——AlphaGo、OpenAI Five
- 机器人控制——学会走路、抓取
思考题- 贝尔曼方程的递归性质有什么好处?
- DPO 比 RLHF 好在哪里?
代码练习- 用 gymnasium 的 CartPole 实现 REINFORCE 算法。
23. 因果推断入门
"相关不等于因果"是统计学最经典的警告。因果推断是从数据中识别真正因果关系的数学框架。
一个类比
你发现"用某个学习 App 的学生成绩更好"。这是因果吗?也许好学生本来就更愿意用 App(自选择偏差)。
相关 vs 因果
| 相关 | 因果 |
| 定义 | X 和 Y 一起变化 | 改变 X 会导致 Y 变化 |
| 方向 | 对称 | 有方向(X->Y) |
| 干预 | 不涉及 | 涉及 do(X) |
do 算子
观察: P(Y|X=x) —— 看到 X=x 后 Y 的分布
干预: P(Y|do(X=x)) —— 强制设 X=x 后 Y 的分布
关键区别:观察时 X 的所有原因也影响 Y。do(X=x) 切断 X 和父节点的联系。
混淆变量和辛普森悖论
辛普森悖论在每个子群体中 A 比 B 好,但合并后 B 比 A 好。原因是混淆变量在不同子群体中分布不同。
后门准则
如果变量集合 Z 阻断了 X 和 Y 之间所有后门路径:
P(Y|do(X=x)) = sum_z P(Y|X=x,Z=z) P(Z=z)
工具变量法
当混淆变量不可观测时,用工具变量 IV:IV 影响 X,但不直接影响 Y。
AI 应用- 推荐系统去偏——用户点击不等于喜欢
- 广告效果评估——看到广告的人可能本来就要买
- 公平性——判断特征是否因果地影响决策
思考题- P(Y|X=x) 和 P(Y|do(X=x)) 什么时候相等?
- 为什么 RCT 是因果推断的金标准?
计算练习- 画因果图:天气->冰淇淋销量,天气->溺水。控制天气后两者是否还有相关性?
24. 动手实战 - 用代码实现概率模型
实战1:MLE 估计正态参数
Pythonimport numpy as np
np.random.seed(42)
data = np.random.normal(3.0, 2.0, size=1000)
mu_mle = np.mean(data)
sigma_mle = np.sqrt(np.mean((data - mu_mle)**2))
print(f"MLE: mu={mu_mle:.4f}, sigma={sigma_mle:.4f}")
实战2:贝叶斯线性回归
Pythonfrom numpy.linalg import inv
X = np.random.randn(50, 1)
y = 2 * X.ravel() + 1 + np.random.randn(50) * 0.5
Xd = np.hstack([X, np.ones_like(X)])
alpha, beta = 1.0, 4.0
S = inv(alpha * np.eye(2) + beta * Xd.T @ Xd)
m = beta * S @ Xd.T @ y
print(f"posterior mean: w={m}")
实战3:Gibbs 采样
Pythonrho = 0.8; samples = np.zeros((5000, 2)); x = np.array([0.0, 0.0])
for i in range(5000):
x[0] = np.random.normal(rho * x[1], np.sqrt(1 - rho**2))
x[1] = np.random.normal(rho * x[0], np.sqrt(1 - rho**2))
samples[i] = x
实战4:简单 VAE
Pythonimport torch, torch.nn as nn
class VAE(nn.Module):
def __init__(self):
super().__init__()
self.enc = nn.Sequential(
nn.Linear(784, 256), nn.ReLU(),
nn.Linear(256, 64), nn.ReLU()
)
self.fc_mu = nn.Linear(64, 2)
self.fc_lv = nn.Linear(64, 2)
self.dec = nn.Sequential(
nn.Linear(2, 64), nn.ReLU(),
nn.Linear(64, 256), nn.ReLU(),
nn.Linear(256, 784), nn.Sigmoid()
)
def forward(self, x):
h = self.enc(x)
mu, lv = self.fc_mu(h), self.fc_lv(h)
# 重参数化技巧:z = mu + sigma * epsilon
z = mu + torch.exp(0.5 * lv) * torch.randn_like(mu)
return self.dec(z), mu, lv
# 训练循环
def train_vae(model, dataloader, epochs=10):
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
for epoch in range(epochs):
total_loss = 0
for x, _ in dataloader:
x = x.view(-1, 784)
x_recon, mu, lv = model(x)
# 损失 = 重构损失 + KL 散度
recon = nn.functional.binary_cross_entropy(x_recon, x, reduction='sum')
kl = -0.5 * torch.sum(1 + lv - mu.pow(2) - lv.exp())
loss = recon + kl
optimizer.zero_grad()
loss.backward()
optimizer.step()
total_loss += loss.item()
print(f"Epoch {epoch+1}, Loss: {total_loss:.2f}")
恭喜!掌握了概率论与统计学的核心知识,你就拥有了AI工程师的完整概率思维。
📋 AI 概率速查表
| 概念 | 公式 | AI 用途 |
| 贝叶斯定理 | P(A|B) = P(B|A)P(A)/P(B) | 后验更新、分类 |
| MLE | θ = argmax P(D|θ) | 训练 = 最小化交叉熵 |
| MAP | θ = argmax P(θ|D) | 训练 + 正则化 |
| ELBO | E[log p(x|z)] - KL(q||p) | VAE、变分推断 |
| KL 散度 | D_KL(P||Q) = Σ P log(P/Q) | 损失函数、正则项 |
| 交叉熵 | H(P,Q) = -Σ P log Q | 分类损失 |
| 互信息 | I(X;Y) = H(X) - H(X|Y) | 特征选择、表示学习 |
| Fisher 信息 | I(θ) = E[(∂log p/∂θ)²] | 自然梯度、Cramér-Rao |
| 分布 | 记号 | 均值 | 方差 | AI 应用 |
| 伯努利 | Ber(p) | p | p(1-p) | 二分类、Dropout |
| 分类 | Cat(π) | π | — | 多分类输出 |
| 高斯 | N(μ,σ²) | μ | σ² | 权重初始化、噪声 |
| Beta | Beta(α,β) | α/(α+β) | — | 伯努利的共轭先验 |
| Dirichlet | Dir(α) | αᵢ/Σα | — | 多项式的共轭先验 |
| 均匀 | U(a,b) | (a+b)/2 | (b-a)²/12 | 初始化、采样 |
推荐学习资源
| 资源 | 类型 | 推荐理由 |
| StatQuest | 视频 | YouTube最好的统计入门 |
| PRML (Bishop) | 书籍 | ML概率视角圣经 |
| All of Statistics | 书籍 | CS人写的统计精要 |
| MacKay | 免费PDF | 信息论+概率+ML |
| Seeing Theory | 网站 | 概率可视化教程 |
概率论是AI的思维方式。学会它,你就能用不确定性的眼光看世界。
面向深度学习和AI工程师 2026