1. 微积分到底是什么
很多人一听到"微积分"就害怕,觉得这是天才才能懂的东西。其实不是。微积分的核心思想只有两个字:变化。它研究的是"东西是怎么变的"以及"变化积累起来是多少"。
微积分的研究对象
微积分研究的是连续变化的量——速度、温度、股价、神经网络的权重……这些量每时每刻都在变化,微积分就是描述和分析这种连续变化的数学工具。
与之对应的是离散数学,研究的是"一个一个数"的关系(如整数、图论、组合)。AI 中两者都用到,但微积分是连续优化的基础。
一个类比
想象你开车从北京到上海。
算术告诉你:全程 1200 公里,平均时速 100 公里/小时,所以需要 12 小时。
微积分告诉你:这一秒你的速度是 87.3 公里/小时,下一秒是 88.1 公里/小时……你每一刻都在变化,微积分就是研究这些"瞬间变化"的数学工具。
微积分的两个核心问题
整个微积分其实就在回答两个问题:
1
变化有多快?——这就是微分。比如:这一瞬间,汽车速度是多少?这一瞬间,房价涨得多快?神经网络训练时,损失函数对某个参数的变化有多敏感?
2
积累起来是多少?——这就是积分。比如:知道了每一刻的速度,总共走了多远?知道了每一秒的流量,总共流了多少水?知道了概率密度函数,某个区间的概率是多少?
类比:切蛋糕
微分 = 把蛋糕切成无限薄的薄片,研究每一片的形状(局部的性质)。
积分 = 把无限多的薄片拼回去,算出整个蛋糕的体积(整体的性质)。
微积分基本定理告诉我们:切蛋糕和拼蛋糕是互逆的操作——这是数学史上最伟大的发现之一。
为什么 AI 需要微积分
如果你学 AI,微积分不是"选修课",是必修课。原因很简单:
神经网络
训练就是求导——神经网络通过"梯度下降"来学习,梯度就是导数的推广。不懂导数,就不知道模型怎么学习。
反向传播
核心是链式法则——深度学习的灵魂算法"反向传播",本质就是复合函数求导的链式法则。
损失函数
设计靠积分和概率——交叉熵损失、KL 散度,这些损失函数的设计都依赖概率论和积分。
优化算法
SGD、Adam 都是梯度方法——所有的优化算法都建立在"求梯度"这个微积分操作之上。
正则化
L1/L2 正则化靠导数工作——L2 正则化对权重求导得到"权重衰减"项,L1 正则化产生稀疏解(部分权重变为 0)。两者都依赖导数来实现。
好消息:AI 不需要你成为微积分专家
你不需要能手算复杂的积分,也不需要证明每一个定理。你需要的是:理解核心概念(极限、导数、积分、梯度)、建立直觉(它们在几何和物理上意味着什么)、知道怎么用(在 AI 中怎么体现)。本教程就是按这个目标设计的。
微积分的历史(一分钟版)
微积分在 17 世纪由两个人独立发明:牛顿(英国)和莱布尼茨(德国)。牛顿从物理学出发(研究运动和引力),莱布尼茨从几何学出发(研究曲线的切线和面积)。他们发明了不同的符号系统,但本质上是同一个东西。
在他们之后,欧拉(18 世纪)将微积分系统化,发展了函数的概念和大量公式;柯西(19 世纪)用 ε-δ 语言严格定义了极限和连续性,让微积分从"直觉"变成了"严格"的数学;黎曼给出了定积分的严格定义(黎曼积分)。这些人的工作奠定了现代微积分的基础。
牛顿 vs 莱布尼茨的符号
牛顿用 ẋ 表示导数(上面加个点),莱布尼茨用 dy/dx。
今天我们主要用莱布尼茨的符号,因为它更直观——dy/dx 清楚地告诉你"y 的变化量除以 x 的变化量"。
📖 本章小结
- 微积分研究连续变化的量,核心是"变化有多快"(微分)和"积累起来是多少"(积分)
- 微积分基本定理揭示了微分和积分是互逆运算
- AI 中,微积分是训练神经网络(梯度下降)、设计损失函数(概率和积分)、优化模型(凸优化)的数学基础
💡 思考题
- 除了汽车速度的例子,你能举出一个日常生活中"瞬时变化率"的例子吗?
- 为什么说"反向传播的本质是链式法则"?试着用自己的话解释。
- 如果你只能用算术(不用微积分),你能精确描述一个物体的瞬时速度吗?为什么?
2. 函数:微积分的起点
微积分研究的是"变化",而函数是描述变化的基本工具。在学微积分之前,你需要对函数有扎实的理解。
什么是函数
函数就是一个输入→输出的规则。你给它一个数(输入),它按某个规则算出另一个数(输出)。
定义域与值域
函数有两个重要概念:
- 定义域——所有合法输入的集合。比如 f(x) = √x 的定义域是 x ≥ 0(不能对负数开平方)
- 值域——所有可能输出的集合。比如 f(x) = x² 的值域是 y ≥ 0(平方永远非负)
AI 中的定义域和值域
神经网络的输入通常需要归一化到特定范围(如 [0,1] 或 [-1,1]),这就是对定义域的处理。
输出层的激活函数限制了值域:Sigmoid 把输出压缩到 (0,1),Tanh 压缩到 (-1,1)。
类比:自动售货机
函数就像一台自动售货机:
你投入硬币(输入 x),按下按钮,机器吐出饮料(输出 y)。
每个按钮对应一种饮料——同样的输入,永远得到同样的输出。
数学表示:y = f(x),读作"y 等于 f 作用于 x"。
f(x) = x² + 1
这个函数的意思是:给我一个数 x,我把它平方,再加 1,输出结果。
f(1) = 1² + 1 = 2
f(3) = 3² + 1 = 10
f(-2) = (-2)² + 1 = 5
函数的图像
函数可以在坐标系里画成一条曲线。横轴是输入 x,纵轴是输出 y。每个 x 对应一个 y,所以是一条曲线(或直线)。
为什么图像很重要
微积分的很多概念——导数、积分、极值——都有几何解释。看图能帮你建立直觉。比如:
导数 = 曲线在某一点的切线斜率(陡不陡)
积分 = 曲线下方的面积(累积了多少)
初等函数的分类
微积分研究的函数大多是初等函数,分为六大类:
| 类型 | 例子 | 特点 |
| 幂函数 | x, x², x³, √x, 1/x | 最基础的函数 |
| 指数函数 | 2ˣ, eˣ, 10ˣ | 增长极快,eˣ 的导数是自己 |
| 对数函数 | ln(x), log₂(x) | 指数函数的反函数,把乘法变加法 |
| 三角函数 | sin(x), cos(x), tan(x) | 周期性,描述波动和旋转 |
| 反三角函数 | arcsin(x), arctan(x) | 三角函数的反函数 |
| 常数 | π, e, C | 不随输入变化 |
初等函数通过四则运算(加减乘除)和复合,可以构造出无穷多种函数。
AI 中常见的函数
| 函数 | 公式 | AI 中的用途 |
| 线性函数 | f(x) = wx + b | 线性回归、神经网络的单个神经元 |
| Sigmoid | f(x) = 1/(1 + e-x) | 二分类的输出层,把值压缩到 0~1 |
| Tanh | f(x) = (ex - e-x)/(ex + e-x) | 类似 Sigmoid 但输出范围 -1~1,均值为 0 |
| ReLU | f(x) = max(0, x) | 最常用的激活函数,简单高效 |
| Softmax | f(xi) = exi / Σexj | 多分类的输出层,把值变成概率 |
| 指数函数 | f(x) = ex | 概率计算、增长率模型 |
| 对数函数 | f(x) = ln(x) | 信息熵、似然函数 |
复合函数
函数可以嵌套——一个函数的输出作为另一个函数的输入。这叫复合函数。
如果 g(x) = x²,f(x) = x + 1,那么 f(g(x)) = x² + 1
类比:流水线
工厂的流水线:第一个工人给零件打孔(函数 g),第二个工人给零件上漆(函数 f)。
整个流水线就是 f(g(x))——先打孔,再上漆。
神经网络就是一条很长的流水线——每一层是一个函数,整个网络是这些函数的复合。
输出 = f₃(f₂(f₁(输入)))
复合函数是 AI 的核心结构
神经网络的本质就是复合函数:输入数据经过一层又一层的变换,最终得到输出。
理解复合函数,是理解反向传播的前提——反向传播就是对复合函数求导的高效算法。
多层复合与神经网络
复合不限于两层。神经网络通常是多层复合:
输出 = f₅(f₄(f₃(f₂(f₁(输入)))))
每一层是一个函数变换,整个网络就是这些函数的嵌套。层数越多,网络越"深"——这就是"深度学习"名称的由来。
反函数
如果函数 f 把 x 映射到 y,那么反函数 f⁻¹ 把 y 映射回 x——它是"撤销操作"。
如果 y = f(x),则 x = f⁻¹(y)
类比:正着走和倒着走
f 是"加密",f⁻¹ 是"解密"。
f(x) = 2x + 3(乘 2 再加 3),f⁻¹(y) = (y - 3)/2(减 3 再除以 2)——一步步反过来。
不是所有函数都有反函数——只有"一一对应"的函数才有。f(x) = x² 就没有(因为 2 和 -2 都映射到 4)。
反函数与 AI
反向传播可以看作"对前向传播求反"——沿着计算图反向走。虽然不是严格的反函数,但思想是类似的:
正向:输入 → 输出,反向:输出的梯度 → 输入的梯度。
函数的性质
| 性质 | 定义 | 例子 |
| 奇函数 | f(-x) = -f(x) | sin(x), x³ |
| 偶函数 | f(-x) = f(x) | cos(x), x² |
| 周期函数 | f(x + T) = f(x) | sin(x), cos(x)(周期 2π) |
| 单调函数 | x₁ < x₂ → f(x₁) < f(x₂) | eˣ, ln(x) |
函数性质在 AI 中的意义
- 奇偶性——可以帮助简化计算,比如某些对称网络结构
- 周期性——时间序列数据(股价、天气)往往有周期性
- 单调性——损失函数通常是单调的,这有助于优化
📖 本章小结
- 函数 = 输入→输出的规则,有定义域(合法输入)和值域(可能输出)
- 初等函数包括幂函数、指数函数、对数函数、三角函数等,通过四则运算和复合可以构造无穷多种函数
- 复合函数是神经网络的本质——每一层是一个函数,整个网络是它们的嵌套
- 反函数是"撤销操作",一一对应的函数才有反函数
💡 思考题
- f(x) = 1/x 的定义域和值域分别是什么?
- 如果 f(x) = x + 1,g(x) = x²,那么 f(g(x)) 和 g(f(x)) 分别等于什么?它们相等吗?这说明了什么?
- 为什么神经网络的激活函数不能全部用线性函数?(提示:线性函数的复合还是线性函数)
3. 极限:无限接近的艺术
极限是微积分的地基。导数和积分都建立在极限的概念之上。理解了极限,后面的一切都顺理成章。
什么是极限
极限描述的是:当一个变量无限接近某个值时,结果会怎样。
类比:追不上的乌龟
你在追一只乌龟。你每走一步,都走到剩余距离的一半。
第一步:走到 1/2 处
第二步:走到 3/4 处
第三步:走到 7/8 处
……
你永远走不到终点,但你会无限接近它。这个"无限接近"的值,就是极限。
数学上写成:lim(n→∞) (1 - 1/2ⁿ) = 1
一个经典的例子
考虑这个数列:0.9, 0.99, 0.999, 0.9999, ...
每一项都比前一项多一个 9。这个数列的极限是 1。它永远不会"到达"1,但它无限接近1。在数学上,我们认为 0.999... = 1(无限循环小数等于 1)。
极限 ≠ 等于
极限描述的是"趋近"的过程,不是"到达"。
但当趋近到"无穷近"时,数学上就认为它们相等了。
这就是为什么 0.999... = 1——不是"约等于",是严格等于。
单侧极限
有时候从左边和右边趋近,结果不一样。这时需要分别讨论:
- 左极限
lim(x→a⁻) f(x)——从 a 的左边趋近
- 右极限
lim(x→a⁺) f(x)——从 a 的右边趋近
极限存在的条件
lim(x→a) f(x) 存在 ⟺ 左极限和右极限都存在且相等。
如果左极限 ≠ 右极限,则极限不存在。
无穷远处的极限
不只可以趋近某个点,还可以趋近无穷大:
lim(x→∞) 1/x = 0
lim(x→∞) (1 + 1/x) = 1
这描述的是:当 x 越来越大时,函数值趋向什么。水平渐近线就是由无穷远处的极限定义的——如果 lim(x→∞) f(x) = L,则 y = L 是一条水平渐近线。
极限不存在的情况
不是所有极限都存在。常见的"不存在"情况:
极限不存在的典型情况
- 趋于无穷——lim(x→0) 1/x² = ∞(不是有限数,所以极限不存在)
- 振荡——lim(x→0) sin(1/x) 在 -1 和 1 之间无限振荡,没有趋向任何值
- 左右不等——lim(x→0) |x|/x,左极限 = -1,右极限 = 1,不相等
ε-δ 语言(通俗版)
你可能听说过"ε-δ 定义"——这是数学家严格定义极限的方式。通俗地说:
ε-δ 的直觉
"lim(x→a) f(x) = L" 的意思是:
不管你想让 f(x) 离 L 多近(给定 ε > 0),总能找到一个足够小的范围(δ > 0),只要 x 在 a 的 δ 范围内,f(x) 就在 L 的 ε 范围内。
本质上就是把"无限接近"说得更精确——对于任何精度要求,都能满足。
函数的极限
不只是数列有极限,函数也有极限。比如:
lim(x→2) (x² - 4)/(x - 2) = ?
如果你直接把 x=2 代入,会得到 0/0——这是"未定式",看不出答案。但如果你先化简:
(x² - 4)/(x - 2) = (x+2)(x-2)/(x-2) = x + 2
所以当 x→2 时,结果趋向于 4。
极限的精髓:看趋势,不看单点
极限关心的是"趋近时会怎样",而不是"在那个点本身怎样"。
上面的例子中,函数在 x=2 处没有定义(0/0),但极限存在(= 4)。
这就像:高速公路在某个收费站断了一小段,但你知道车流会流向哪里。
极限的四则运算法则
如果 lim f(x) = A,lim g(x) = B,那么:
1
加法——lim [f(x) + g(x)] = A + B
2
减法——lim [f(x) - g(x)] = A - B
3
乘法——lim [f(x) · g(x)] = A · B
4
除法——lim [f(x) / g(x)] = A / B(B ≠ 0)
夹逼定理
如果 g(x) ≤ f(x) ≤ h(x),且 lim g(x) = lim h(x) = L,那么 lim f(x) = L。
类比:三明治
你被夹在两个人中间。如果左边的人和右边的人都走向同一个地点,你也只能走向那个地点。
这就是"夹逼"——两个边界把函数"夹"住了,它只能去同一个地方。
夹逼定理的例子
证明 lim(x→0) x·sin(1/x) = 0:
因为 -1 ≤ sin(1/x) ≤ 1,所以 -|x| ≤ x·sin(1/x) ≤ |x|。
而 lim(x→0) (-|x|) = 0,lim(x→0) |x| = 0。
两边都趋向 0,由夹逼定理,中间也趋向 0。
两个重要极限
lim(x→0) sin(x)/x = 1
lim(x→∞) (1 + 1/x)ˣ = e ≈ 2.71828...
第二个极限就是自然常数 e 的定义——它在概率论、复利计算、微分方程中无处不在。
极限与 AI 的关系
- 学习率衰减——训练时学习率逐渐变小,趋近于 0。这就是一个极限过程。
- 收敛判断——梯度下降时,损失函数的值越来越小,趋近某个值。如果极限存在,说明训练收敛了。
- 概率的定义——概率密度函数的积分(从 -∞ 到 +∞)等于 1,这用到了极限。
- Softmax 的数值稳定性——计算 eˣ 时减去最大值,利用了极限的性质防止溢出。
📖 本章小结
- 极限描述"无限接近"的趋势,是导数和积分的基础
- 单侧极限:左右极限都存在且相等 ⟹ 极限存在
- 夹逼定理:两个边界夹住函数,逼它趋向同一个值
- 两个重要极限:lim sin(x)/x = 1,lim(1+1/x)ˣ = e
- ε-δ 语言是极限的严格数学定义,本质是"对于任意精度要求都能满足"
💡 思考题
- 为什么 0.999... = 1?用极限的概念解释。
- lim(x→0) sin(1/x) 为什么不存在?画出 sin(1/x) 的图像来理解。
- e 的定义 lim(1+1/n)ⁿ 和"连续复利"有什么关系?
4. 连续性:没有断点的世界
连续性是一个看起来简单、但非常重要的概念。它说的是:函数的图像能不能一笔画出来,中间不断开。
什么是连续
类比:画线
连续函数 = 你拿笔从左画到右,笔不离开纸面。一条光滑的曲线。
不连续函数 = 画到某个地方,笔要跳起来移到另一个位置再继续画。
连续 = 没有跳跃、没有断开、没有洞。
连续的严格定义
函数 f(x) 在点 x=a 处连续,需要同时满足三个条件:
1
f(a) 有定义——函数在 a 点有值(不能是 0/0 这种未定义的情况)
2
极限存在——从左边趋近 a 和从右边趋近 a,得到的极限相同
3
极限 = 函数值——趋近的值恰好等于函数在 a 点的值
间断点的分类
不连续的点叫间断点,分为几类:
| 类型 | 特征 | 例子 |
| 可去间断点 | 极限存在,但函数值不存在或不等于极限 | f(x) = sin(x)/x 在 x=0 |
| 跳跃间断点 | 左右极限都存在但不相等 | 符号函数 sgn(x) 在 x=0 |
| 无穷间断点 | 极限为无穷大 | f(x) = 1/x 在 x=0 |
连续函数的性质:最值定理
最值定理:如果 f(x) 在闭区间 [a, b] 上连续,那么 f(x) 在 [a, b] 上一定有最大值和最小值。
最值定理对 AI 的意义
它保证了优化问题的解存在——如果损失函数在参数空间的某个有界闭区域上连续,那最优参数一定存在。
当然,实际中我们不一定能找到它(可能陷入局部最优),但至少知道它在那里。
连续函数的性质:介值定理
如果 f(x) 在 [a, b] 上连续,且 f(a) ≠ f(b),那么对于 f(a) 和 f(b) 之间的任意值 k,都存在 c ∈ (a, b) 使得 f(c) = k。
类比:温度计
早上 15°C,中午 30°C。温度是连续变化的。
那么在早上和中午之间,一定有某个时刻温度正好是 20°C。
温度不可能从 15°C 直接跳到 30°C——中间一定经过了所有中间值。
为什么连续性对 AI 很重要
神经网络的训练依赖梯度下降,而梯度下降要求损失函数是连续且光滑的。为什么?
直观理解
想象你在一座山上,想走到最低的山谷(最小化损失)。
如果山坡是光滑连续的,你可以顺着斜坡往下走。
如果山坡有悬崖断壁(不连续),你走着走着突然掉下去了,就无法稳定地找到最低点。
这就是为什么 ReLU 在 x=0 处不连续可导,但实际使用中仍然有效——因为它在"大部分地方"都是连续可导的。
连续性在 AI 中的体现
- 损失函数——必须连续,否则梯度下降无法工作
- 激活函数——ReLU 在 x=0 处连续但不可导(左导数为 0,右导数为 1,不相等)。但实践中仍然有效,因为数据恰好落在 x=0 的概率为 0
- 学习率调度——通常要求学习率连续变化,避免训练不稳定
Lipschitz 连续性(进阶)
一个更强的连续性概念是Lipschitz 连续:存在常数 L,使得对任意 x₁, x₂:
|f(x₁) - f(x₂)| ≤ L · |x₁ - x₂|
L 叫做 Lipschitz 常数。直观理解:函数的变化速度有上界——不会"太陡"。
Lipschitz 连续与 AI
很多优化理论的收敛性证明都依赖 Lipschitz 条件。比如:
如果损失函数的梯度是 Lipschitz 连续的(梯度不会变化太剧烈),那么梯度下降以合适的学习率一定能收敛。
Wasserstein GAN 中的"梯度惩罚"就是在强制判别器的梯度满足 Lipschitz 条件。
📖 本章小结
- 连续 = 图像能一笔画出来,没有跳跃、断开、洞
- 连续的三个条件:f(a) 有定义、极限存在、极限 = 函数值
- 间断点分为可去、跳跃、无穷三类
- 介值定理:连续函数取遍中间所有值;最值定理:闭区间上连续函数必有最大最小值
- Lipschitz 连续:函数变化速度有上界,是优化收敛性的重要条件
- ReLU 在 x=0 处连续但不可导,实践中不影响使用
💡 思考题
- f(x) = sin(x)/x 在 x=0 处是哪种间断点?如果补充定义 f(0) = 1,是否变成连续?
- 用介值定理证明:方程 x³ - x - 1 = 0 在区间 [1, 2] 上至少有一个实数根。
- 为什么深度学习中"几乎处处可导"就够了,而不需要"处处可导"?
5. 导数:变化的速度
导数是微积分中最核心的概念之一。它回答的问题是:当输入变化一点点时,输出变化了多少?
从平均速度到瞬时速度
类比:汽车仪表盘
你开车从北京到上海,全程 1200 公里,花了 12 小时。
平均速度 = 1200/12 = 100 公里/小时。但你不可能一直匀速开。
你低头看仪表盘,此刻显示 87 公里/小时——这就是瞬时速度。
它告诉你"此时此刻"你的速度是多少,不是平均值。
瞬时速度就是速度的导数。导数把"平均"变成了"瞬时"。
可导与连续的关系
重要定理
可导一定连续,连续不一定可导。
例子:f(x) = |x| 在 x=0 处连续(图像没有断开),但不可导(有一个尖角,没有唯一的切线)。
左导数 = -1,右导数 = 1,不相等,所以导数不存在。
这就是左导数和右导数的概念:分别从左边和右边求导数。只有当左导数 = 右导数时,函数在该点才可导。
导数的几何意义
导数在几何上就是:曲线在某一点的切线斜率。
1
取两个点——在曲线上取两个靠近的点 A 和 B
2
算割线斜率——连接 A 和 B 的直线(割线)的斜率 = Δy/Δx
3
让两点靠近——把 B 逐渐向 A 移动,割线越来越接近切线
4
取极限——当 B 和 A 无限接近时,割线斜率的极限就是导数
导数的公式
f'(x) = lim(Δx→0) [f(x + Δx) - f(x)] / Δx
这个公式的含义是:当输入变化量 Δx 趋近于 0 时,输出变化量与输入变化量之比的极限。
一个具体例子
求 f(x) = x² 的导数:
1
写定义——f'(x) = lim(Δx→0) [(x+Δx)² - x²] / Δx
2
展开——(x+Δx)² = x² + 2x·Δx + (Δx)²
3
化简——分子 = 2x·Δx + (Δx)²,除以 Δx 得 2x + Δx
(x²)' = 2x
eˣ 的求导:最神奇的函数
指数函数 eˣ 有一个惊人的性质:它自己的导数就是它自己。
(eˣ)' = eˣ
证明思路:用定义——
eˣ 的导数 = lim(Δx→0) [eˣ⁺Δˣ - eˣ] / Δx = eˣ · lim(Δx→0) [eΔˣ - 1] / Δx = eˣ · 1 = eˣ
最后一步用到了 e 的定义:lim(h→0) (eʰ - 1)/h = 1。这就是 e 为什么是"自然"的底数——它是唯一一个导数等于自己的指数函数。
导数的物理意义:加速度
如果位置 s(t) 对时间求导得到速度 v(t),那么速度对时间求导得到加速度 a(t):
位置 → (求导) → 速度 → (求导) → 加速度
这就是二阶导数的物理意义。一阶导数描述变化有多快,二阶导数描述变化的变化有多快。
导数告诉了我们什么
| 导数值 | 含义 | 图像特征 |
| f'(x) > 0 | 函数在增加 | 曲线向上倾斜 |
| f'(x) < 0 | 函数在减少 | 曲线向下倾斜 |
| f'(x) = 0 | 变化率为零 | 可能是最高点或最低点 |
| |f'(x)| 很大 | 变化很快 | 曲线很陡 |
| |f'(x)| 很小 | 变化很慢 | 曲线很平 |
AI 视角:导数就是"敏感度"
在神经网络中,损失函数 L 对参数 w 的导数 ∂L/∂w 告诉我们:
当我稍微改变 w 时,损失 L 变化多少?
如果导数很大,说明 w 对损失影响很大,需要重点调整。
如果导数很小,说明 w 对损失影响不大,可以少调或不调。
这就是梯度下降的核心思想。
📖 本章小结
- 导数 = 瞬时变化率 = 切线斜率,定义为 lim(Δx→0) Δy/Δx
- 可导一定连续,连续不一定可导(如 |x| 在 0 点)
- (eˣ)' = eˣ——e 是唯一"导数等于自己"的指数函数的底数
- 一阶导数 = 速度,二阶导数 = 加速度
- 在 AI 中,导数 = 敏感度:∂L/∂w 告诉你 w 对损失的影响有多大
预告:从导数到梯度
这里的导数是一维情况(一个输入,一个输出)。
AI 中的函数通常有成千上万个参数——这时导数推广为梯度(第 15 章),梯度下降(第 17 章)就是用梯度来优化参数。
💡 思考题
- 用导数的定义求 f(x) = 3x² + 1 的导数,验证结果是否等于 6x。
- 为什么 f(x) = x^(1/3) 在 x=0 处不可导?(提示:导数是无穷大)
- eˣ 的导数是自己,那 e²ˣ 的导数是什么?用链式法则验证。
6. 导数的计算法则
每次都用极限的定义去求导太麻烦了。数学家们总结出了一套计算法则,让你能快速求出大多数函数的导数。
基本导数公式
| 函数 f(x) | 导数 f'(x) | 记忆口诀 |
| C(常数) | 0 | 常数不变,导数为零 |
| x | 1 | x 本身,导数为 1 |
| x² | 2x | 幂函数:指数下放,指数减一 |
| xⁿ | nxⁿ⁻¹ | 幂法则 |
| eˣ | eˣ | e 的导数是它自己! |
| ln(x) | 1/x | 自然对数的导数 |
| sin(x) | cos(x) | 正变余 |
| cos(x) | -sin(x) | 余变负正 |
| tan(x) | sec²(x) = 1/cos²(x) | 正切的导数是正割的平方 |
| arctan(x) | 1/(1+x²) | 反正切的导数 |
反函数求导法则
如果 y = f(x) 有反函数 x = f⁻¹(y),那么:
(f⁻¹)'(y) = 1 / f'(x)
直觉:反函数的导数 = 原函数导数的倒数。如果 f 把 x 变化放大 3 倍,那 f⁻¹ 就把 y 变化缩小 3 倍。
四则运算法则
1
加法法则——[f(x) + g(x)]' = f'(x) + g'(x)
和的导数 = 导数的和
2
乘法法则——[f(x) · g(x)]' = f'(x)·g(x) + f(x)·g'(x)
(记住:前导后不导 + 前不导后导)
3
除法法则——[f(x)/g(x)]' = [f'(x)·g(x) - f(x)·g'(x)] / [g(x)]²
4
常数倍法则——[c·f(x)]' = c·f'(x)
常数可以提到导数外面
链式法则(最重要的法则)
如果你只记住一个法则,就记这个。链式法则是反向传播的数学基础。
如果 y = f(g(x)),那么 dy/dx = f'(g(x)) · g'(x)
类比:齿轮传动
想象两个齿轮 A 和 B 啮合在一起。
A 转一圈,B 转两圈。
B 转一圈,C 转三圈。
那么 A 转一圈,C 转几圈?答案是 2 × 3 = 6 圈。
链式法则就是这个意思:把每一层的变化率乘起来。
dy/dx = (dy/du) × (du/dx)
链式法则的例子
求 y = (3x + 1)² 的导数:
1
识别内外层——外层是 u²,内层是 u = 3x + 1
2
外层求导——(u²)' = 2u = 2(3x + 1)
4
相乘——y' = 2(3x + 1) × 3 = 6(3x + 1)
链式法则 = 反向传播
神经网络就是一个多层复合函数:y = f₃(f₂(f₁(x)))
求损失对输入的导数,就是用链式法则一层一层往回乘:
dy/dx = f₃' × f₂' × f₁'
反向传播算法就是高效地实现这个"往回乘"的过程。第18章会详细讲。
多层复合的链式法则
链式法则不限于两层。对于 y = f(g(h(x))):
dy/dx = f'(g(h(x))) · g'(h(x)) · h'(x)
每一层的导数乘在一起。层数越多,乘的项越多——这就是为什么深层网络会出现梯度消失(乘积趋近 0)或梯度爆炸(乘积趋近无穷)的问题。
隐函数求导(简介)
有时候函数关系不是 y = f(x) 的显式形式,而是像 x² + y² = 1(圆的方程)这样的隐式关系。这时可以用隐函数求导:对方程两边同时对 x 求导,把 y 看作 x 的函数。
隐函数求导示例
x² + y² = 1,两边对 x 求导:
2x + 2y·(dy/dx) = 0 → dy/dx = -x/y
这在优化理论中用到(约束优化的拉格朗日乘数法)。
📖 本章小结
- 基本导数公式:幂函数、eˣ、ln(x)、三角函数的导数要熟记
- 四则运算法则:加减直接加减,乘法用"前导后不导 + 前不导后导"
- 链式法则(最重要):复合函数求导 = 各层导数相乘,是反向传播的数学基础
- 多层复合的链式法则:层数越多,乘积越多 → 梯度消失/爆炸的根源
- 反函数求导:(f⁻¹)'(y) = 1/f'(x)
- 隐函数求导:对方程两边同时求导,把 y 看作 x 的函数
💡 思考题
- 求 y = sin(x²) 的导数,用链式法则验证。
- 求 y = x·eˣ 的导数,用乘法法则验证。
- 如果 y = ln(3x + 1),用链式法则求 dy/dx。
- 为什么深层网络用 Sigmoid 激活函数时,梯度会指数级衰减?用链式法则解释。
7. 中值定理:连接局部与整体的桥梁
中值定理是微积分中一组重要的定理。它们听起来很"理论",但实际上是理解导数应用的基础。
罗尔定理
如果函数 f(x) 满足:在闭区间 [a, b] 上连续,在开区间 (a, b) 上可导,且 f(a) = f(b),那么至少存在一个点 c ∈ (a, b),使得 f'(c) = 0。
类比:爬山回来
你从山脚出发,爬到山顶,又回到山脚。出发和结束的高度相同。
那么在途中,一定有某个地方你的瞬时速度为零——可能是山顶,可能是某个平台。
罗尔定理说的就是这件事:如果起点和终点一样高,中间一定有"平"的地方。
拉格朗日中值定理
这是罗尔定理的推广。如果 f(x) 在 [a, b] 上连续,在 (a, b) 上可导(不要求 f(a) = f(b)),那么存在 c ∈ (a, b),使得:
f'(c) = [f(b) - f(a)] / (b - a)
含义:至少存在一个点,该点的瞬时变化率等于整个区间的平均变化率。
类比:高速公路
你开了 2 小时,走了 200 公里。平均速度 100 公里/小时。
中值定理说:在某个瞬间,你的仪表盘一定显示过 正好 100 公里/小时。
你不可能一直高于 100 或一直低于 100——中间一定"经过"了 100。
中值定理的 AI 意义
为什么中值定理重要
- 证明梯度下降的收敛性——中值定理保证了"如果梯度不为零,函数值一定在变化"
- 理解损失函数的行为——如果两个点的损失值不同,中间一定有梯度
- 理论基础——很多优化算法的收敛性证明都依赖中值定理
柯西中值定理
柯西中值定理是拉格朗日中值定理的推广。如果 f(x) 和 g(x) 都在 [a, b] 上连续,在 (a, b) 上可导,且 g'(x) ≠ 0,那么存在 c ∈ (a, b),使得:
[f(b) - f(a)] / [g(b) - g(a)] = f'(c) / g'(c)
柯西中值定理的意义
柯西中值定理是洛必达法则的理论基础。
当 f(a) = g(a) = 0 时,上式变成 0/0 形式,可以通过分别求导来求极限。
洛必达法则(下一章详讲):lim f(x)/g(x) = lim f'(x)/g'(x),让很多"未定式"极限变得可解。
📖 本章小结
- 罗尔定理:f(a)=f(b) ⟹ 存在 c 使 f'(c)=0(起点终点等高,中间一定有平的地方)
- 拉格朗日中值定理:存在 c 使 f'(c) = [f(b)-f(a)]/(b-a)(瞬时变化率 = 平均变化率)
- 柯西中值定理:拉格朗日的推广,是洛必达法则的理论基础
- 中值定理保证了"如果损失值在变化,中间一定有梯度存在"
💡 思考题
- 罗尔定理的三个条件缺一不可。分别给出去掉每个条件后结论不成立的反例。
- 用拉格朗日中值定理证明:如果 f'(x) = 0 对所有 x 成立,则 f(x) 是常数。
- 中值定理保证了"c 存在",但没有告诉你 c 在哪里。这对实际计算有什么影响?
8. 导数的应用:极值与最优化
导数最重要的应用之一就是找最大值和最小值。这在 AI 中无处不在——训练神经网络本质上就是找损失函数的最小值。
极值的必要条件
如果函数 f(x) 在点 x=c 处取得极值(极大或极小),且 f'(c) 存在,那么 f'(c) = 0。
类比:爬山
你爬到山顶(极大值),在山顶那一瞬间,你是平的——不往上也不往下。
你走到山谷(极小值),在谷底那一瞬间,你也是平的。
所以:极值点处,导数为零。但反过来不一定——导数为零的点不一定是极值(可能是拐点)。
用二阶导数判断极值类型
| 条件 | 结论 | 几何意义 |
| f'(c) = 0 且 f''(c) > 0 | 极小值 | 曲线向上弯(碗口朝上) |
| f'(c) = 0 且 f''(c) < 0 | 极大值 | 曲线向下弯(碗口朝下) |
| f'(c) = 0 且 f''(c) = 0 | 不确定 | 需要用其他方法判断 |
洛必达法则
当你求极限时遇到 0/0 或 ∞/∞ 的形式,可以用洛必达法则:
lim(x→a) f(x)/g(x) = lim(x→a) f'(x)/g'(x)
简单说:分子分母分别求导,再求极限。
洛必达法则的例子
求 lim(x→0) sin(x)/x:
直接代入得 0/0(未定式),用洛必达法则:
lim(x→0) sin(x)/x = lim(x→0) cos(x)/1 = cos(0)/1 = 1
这和前面"第一个重要极限"的结果一致!
洛必达法则的使用条件
- 必须是 0/0 或 ∞/∞ 的形式
- 分子分母都要可导
- 求导后的极限必须存在(或为无穷)
不满足条件时不能用!
用导数判断单调性
导数可以告诉我们函数在哪些区间增加、哪些区间减少:
| 条件 | 结论 | 图像特征 |
| f'(x) > 0 | 函数单调递增 | 曲线向上走 |
| f'(x) < 0 | 函数单调递减 | 曲线向下走 |
| f'(x) = 0 | 可能是极值点或拐点 | 曲线变平或改变方向 |
4
判断符号——在每个区间取一个点,看 f'(x) 的正负
完整例子:求 f(x) = x³ - 3x + 1 的极值
1
求导——f'(x) = 3x² - 3 = 3(x² - 1) = 3(x-1)(x+1)
2
找临界点——f'(x) = 0 ⟹ x = 1 或 x = -1
4
判断——f''(-1) = -6 < 0 ⟹ x=-1 是极大值(f(-1)=3);f''(1) = 6 > 0 ⟹ x=1 是极小值(f(1)=-1)
闭区间上的最值
重要提醒
在闭区间 [a, b] 上求最大值和最小值,需要检查所有临界点和两个端点。
极值 ≠ 最值!极值是局部的,最值是全局的。
步骤:求 f'(x)=0 的临界点 → 算 f(临界点) 和 f(a)、f(b) → 取最大和最小的。
凹凸性与拐点
二阶导数 f''(x) 告诉我们函数的弯曲方向:
| 条件 | 结论 | 几何意义 |
| f''(x) > 0 | 凸函数(convex) | 曲线向上弯,像碗口朝上 |
| f''(x) < 0 | 凹函数(concave) | 曲线向下弯,像碗口朝下 |
| f''(x) = 0 且变号 | 拐点 | 弯曲方向改变的点 |
凹凸性在 AI 中的意义
损失函数的凹凸性决定了优化的难度:
凸函数(convex,碗口朝上,f'' ≥ 0)→ 只有一个最低点 → 梯度下降一定能找到
非凸函数(有多个坑)→ 可能陷入局部最优 → 需要更复杂的优化策略
术语说明:本文统一使用国际标准:convex = 凸 = 碗口朝上 = f'' ≥ 0;concave = 凹 = 碗口朝下 = f'' ≤ 0。部分中国教材用相反的称呼,请注意区分。
渐近线
渐近线是曲线"无限接近但永远不碰"的直线,分为三类:
| 类型 | 定义 | 例子 |
| 水平渐近线 | lim(x→∞) f(x) = L ⟹ y = L | Sigmoid:y=0 和 y=1 |
| 垂直渐近线 | lim(x→a) f(x) = ∞ ⟹ x = a | tan(x):x = π/2 |
| 斜渐近线 | lim(x→∞) [f(x)-(kx+b)] = 0 | f(x) = (x²+1)/x 的渐近线 y=x |
最优化问题与 AI
AI 中的核心问题几乎都是最优化问题:
- 训练神经网络——最小化损失函数
- 超参数调优——找到使验证集性能最好的参数
- 模型选择——在偏差和方差之间找到平衡点
从导数到梯度下降
一维情况下,找极值就是找 f'(x) = 0 的点。
但 AI 中的函数有成千上万个变量,不能简单地令导数为零。
所以我们用梯度下降:沿着梯度(导数的推广)的反方向走,一步步逼近最小值。
这是第17章的内容。
📖 本章小结
- 极值的必要条件:f'(c) = 0。充分条件:用二阶导数判断(f'' > 0 极小,f'' < 0 极大)
- 闭区间上求最值:检查临界点 + 端点,取最大和最小
- 洛必达法则:0/0 或 ∞/∞ 型极限 = 分子分母分别求导再求极限
- 导数判断单调性:f' > 0 递增,f' < 0 递减
- 二阶导数判断凹凸性:f'' > 0 凸(碗口朝上),f'' < 0 凹(碗口朝下)
- 渐近线:水平(x→∞)、垂直(y→∞)、斜渐近线
💡 思考题
- 求 f(x) = x⁴ - 4x³ + 4 的所有极值点,并判断是极大还是极小。
- 求 f(x) = x³ - 3x 在 [-3, 3] 上的最大值和最小值。
- 用洛必达法则求 lim(x→0) (eˣ - 1)/x。
- 为什么深度学习的损失函数几乎都是非凸的?这对训练有什么影响?
9. 高阶导数与泰勒展开
导数本身也可以再求导——这就是高阶导数。而泰勒展开是用多项式逼近任意函数的强大工具。
高阶导数
对导数再求导,就得到二阶导数;对二阶导数再求导,就得到三阶导数……
二阶导数
f''(x)——变化速度的变化(弯曲程度、加速度)
三阶导数
f'''(x)——弯曲程度的变化(加加速度)
泰勒展开:用多项式逼近一切
泰勒展开的核心思想:任何光滑函数,在某一点附近都可以用多项式来逼近。
f(x) = f(a) + f'(a)(x-a) + f''(a)(x-a)²/2! + f'''(a)(x-a)³/3! + ...
类比:逐级精确的描述
你要描述一个人的长相:
零阶近似:一个人(太粗糙了)
一阶近似:一个高个子的人(加上身高信息)
二阶近似:一个高个子、偏瘦的人(加上体型信息)
三阶近似:一个高个子、偏瘦、戴眼镜的人(加上更多细节)
每加一阶,描述就更精确。泰勒展开也是这样——项数越多,逼近越精确。
麦克劳林展开
当泰勒展开在 a = 0 处展开时,叫麦克劳林展开。下面几个重要的展开都是麦克劳林展开。
几个重要的泰勒展开
1
eˣ = 1 + x + x²/2! + x³/3! + x⁴/4! + ...
2
sin(x) = x - x³/3! + x⁵/5! - x⁷/7! + ...
3
cos(x) = 1 - x²/2! + x⁴/4! - x⁶/6! + ...
4
ln(1+x) = x - x²/2 + x³/3 - x⁴/4 + ...(|x| < 1)
5
(1+x)ⁿ = 1 + nx + n(n-1)x²/2! + ...(|x| < 1,n 为任意实数)——二项式展开
泰勒展开与 AI
泰勒展开在 AI 中的应用
- 近似计算——计算机计算 eˣ、sin(x) 等函数时,实际上就是算泰勒展开的前几项
- 牛顿优化法——用二阶泰勒展开近似目标函数 f(x) ≈ f(x₀) + f'(x₀)(x-x₀) + ½f''(x₀)(x-x₀)²,令导数为零得更新公式:x_new = x - f'(x)/f''(x)。比梯度下降收敛更快(二次收敛),但需要计算 Hessian 矩阵
- 理解线性化——一阶泰勒展开就是"线性化",这正是神经网络中每一层做的事情
- 激活函数的近似——GELU 等激活函数可以用泰勒展开来理解和实现
收敛半径
泰勒展开不是在所有地方都有效。收敛半径告诉你展开在多大范围内成立:
| 展开式 | 收敛半径 |
| eˣ, sin(x), cos(x) | ∞(处处收敛) |
| ln(1+x) | |x| < 1 |
| 1/(1-x) | |x| < 1 |
| (1+x)ⁿ | |x| < 1(n 非整数时) |
超出收敛半径时,级数发散,展开失效。
数值例子:逐阶逼近
用泰勒展开近似 sin(0.1):
| 阶数 | 展开 | 近似值 | 误差 |
| 1 阶 | 0.1 | 0.1 | ~0.00017 |
| 3 阶 | 0.1 - 0.1³/6 | 0.099833... | ~8.3×10⁻⁸ |
| 5 阶 | 0.1 - 0.1³/6 + 0.1⁵/120 | 0.099833416... | < 10⁻¹² |
只取到 3 阶,精度就已经非常高了!这就是泰勒展开的威力。
泰勒展开的直觉
逐阶逼近的直觉
零阶:f(x) ≈ f(a)——在 a 点,函数值是多少?(一个点)
一阶:f(x) ≈ f(a) + f'(a)(x-a)——加上斜率信息(一条直线)
二阶:加上弯曲程度信息(一条抛物线)
三阶:加上弯曲变化的信息(一条三次曲线)
每多一阶,就多一层"细节"。阶数足够多时,就能精确表示原函数。
泰勒展开的误差
用有限项泰勒展开近似函数时,误差可以用拉格朗日余项估计:
Rₙ(x) = f⁽ⁿ⁺¹⁾(c) · (x-a)ⁿ⁺¹ / (n+1)!
其中 c 是 a 和 x 之间的某个点。这告诉我们:
- 展开阶数 n 越高,误差越小
- x 离 a 越近,误差越小
- 函数越"光滑"(高阶导数有界),误差越小
📖 本章小结
- 高阶导数:一阶=斜率,二阶=弯曲程度,三阶=弯曲变化……
- 泰勒展开:任何光滑函数都可以用多项式逼近,项数越多越精确
- 麦克劳林展开:在 a=0 处的泰勒展开,是最常用的形式
- 重要展开:eˣ、sin(x)、cos(x)、ln(1+x)、(1+x)ⁿ
- 收敛半径:展开不是处处有效,超出收敛半径会发散
- 牛顿法:用二阶泰勒展开近似目标函数,x_new = x - f'/f'',二次收敛
💡 思考题
- 用泰勒展开的前 3 项近似 e^0.2,与计算器结果比较误差。
- 为什么 eˣ 的泰勒展开处处收敛,而 ln(1+x) 的展开只在 |x|<1 时收敛?
- 牛顿法比梯度下降收敛更快,为什么在深度学习中反而不常用?(提示:Hessian 矩阵的计算代价)
10. 微分:局部线性化
微分是导数的"操作版本"。它说的是:在某一点附近,用一条直线来近似曲线。
什么是微分
对于函数 y = f(x),在点 x₀ 附近,我们可以用一条切线来近似:
f(x) ≈ f(x₀) + f'(x₀) · (x - x₀)
这就是一阶泰勒展开,也叫线性近似。
类比:地球是平的
地球是圆的,但如果你只看脚下很小一块地方,它看起来是平的。
微分就是这个思想:曲线是弯的,但在很小的范围内,它看起来是直的。
这条"直线"就是切线,它的斜率就是导数。
微分的记号
微分用 dy 和 dx 表示:
dy = f'(x) · dx
其中 dx 是自变量的微小变化,dy 是因变量的相应变化。
微分与 AI 的关系
神经网络中的"局部线性化"
神经网络的每一层(比如 y = Wx + b)本身就是线性变换。
而激活函数(如 ReLU、Sigmoid)在每个局部都可以用线性函数近似。
整个神经网络 = 一系列局部线性变换的复合。
训练时,我们就是在这些"局部"里不断调整参数。
微分的思想——用简单的东西近似复杂的东西——是深度学习的哲学基础。
微分的形式不变性
一个重要性质:无论 x 是自变量还是中间变量,dy = f'(x)dx 都成立。这叫微分的形式不变性。
形式不变性的意义
如果 y = f(u),u = g(x),那么:
dy = f'(u)du(把 u 当自变量)
dy = f'(u)·g'(x)dx(把 x 当自变量)
两种写法结果一样!这就是"形式不变"——公式长一样,只是 u 和 dx 的含义不同。
这让微分在复杂计算中非常方便。
全微分
多元函数的微分叫全微分。如果 z = f(x, y):
dz = (∂f/∂x)dx + (∂f/∂y)dy
全微分 = 各个方向的偏微分之和。这是多元微积分的基础。
注:∂f/∂x 叫偏导数——只让 x 变化、y 固定时的导数。偏导数将在第 15 章详细介绍,这里先建立直觉。
微分在近似计算中的应用
利用 dy ≈ Δy,可以做快速近似计算:
例子:近似计算 √4.01
设 f(x) = √x,x₀ = 4,dx = 0.01:
f'(x) = 1/(2√x),f'(4) = 1/4
√4.01 ≈ √4 + f'(4)·0.01 = 2 + 0.25×0.01 = 2.0025
精确值:2.002498...,误差不到 0.001%!
微分的几何意义
微分 dy 表示:当 x 变化 dx 时,切线上y 的变化量(不是曲线上 y 的实际变化量)。
微分 vs 增量
微分:dy = f'(x)·dx(切线上的变化)
增量:Δy = f(x+dx) - f(x)(曲线上的实际变化)
当 dx 很小时,dy ≈ Δy(微分近似增量)。
这就是为什么线性近似在小范围内有效。
📖 本章小结
- 微分 = 用切线近似曲线:f(x) ≈ f(x₀) + f'(x₀)·(x-x₀)
- 微分的形式不变性:dy = f'(x)dx 无论 x 是自变量还是中间变量都成立
- 全微分:dz = (∂f/∂x)dx + (∂f/∂y)dy,多元函数的微分
- dy ≈ Δy(微分 ≈ 增量),可用于快速近似计算
- 神经网络的每一层都是局部线性变换,整个网络 = 一系列局部线性变换的复合
💡 思考题
- 用微分近似计算 (1.02)¹⁰,与精确值比较误差。
- 为什么说"微分的思想是深度学习的哲学基础"?
- 用微分近似计算 sin(0.01)(提示:sin(x) ≈ x 当 x 很小时),与精确值比较。
11. 不定积分:导数的逆运算
从这一章开始,我们进入积分的世界。不定积分是导数的逆运算——已知导数,求原来的函数。
什么是不定积分
如果你知道 f'(x) = 2x,那么原来的函数 f(x) 是什么?
答案是 f(x) = x² + C(C 是任意常数)。这个"反推"的过程就是不定积分。
∫2x dx = x² + C
类比:知道速度求路程
你知道汽车每一刻的速度(导数),想求总共走了多远(原函数)。
不定积分就是做这件事——从速度反推路程。
但有一个问题:如果两辆车速度一样,它们走的路程可能不同——因为起点不同。
所以不定积分的结果要加一个常数 C(代表不同的起点)。
为什么叫"不定"积分
因为结果不确定——有一个任意常数 C。∫2x dx 可以是 x² + 1、x² - 5、x² + 100……有无穷多种可能。
基本积分公式
积分公式就是导数公式的"反过来":
| 导数 | 积分 |
| (xⁿ)' = nxⁿ⁻¹ | ∫xⁿ dx = xⁿ⁺¹/(n+1) + C(n ≠ -1) |
| (eˣ)' = eˣ | ∫eˣ dx = eˣ + C |
| (ln x)' = 1/x | ∫1/x dx = ln|x| + C |
| (sin x)' = cos x | ∫cos x dx = sin x + C |
| (cos x)' = -sin x | ∫sin x dx = -cos x + C |
| (tan x)' = sec²x | ∫sec²x dx = tan x + C |
| (-cot x)' = csc²x | ∫csc²x dx = -cot x + C |
积分常数 C 的几何意义
∫2x dx = x² + C 中的 C 代表一族曲线——x² + 1, x² - 5, x² + 100 都是 2x 的原函数,它们只是在 y 方向上平移了。
这一族曲线形状完全相同,只是"起点"不同。
验证积分结果的方法
对积分结果求导,看是否等于被积函数:
∫2x dx = x² + C → 验证:(x² + C)' = 2x ✓
如果求导后不等于原函数,说明积分算错了。
更多常用积分公式
| 积分 | 结果 | 备注 |
| ∫aˣ dx | aˣ/ln(a) + C | 指数函数(a > 0, a ≠ 1) |
| ∫tan(x) dx | -ln|cos(x)| + C | 或 ln|sec(x)| + C |
| ∫cot(x) dx | ln|sin(x)| + C | 余切的积分 |
| ∫sec(x) dx | ln|sec(x) + tan(x)| + C | 正割的积分 |
| ∫csc(x) dx | ln|csc(x) - cot(x)| + C | 余割的积分 |
| ∫1/(a²+x²) dx | (1/a)arctan(x/a) + C | 反三角函数 |
| ∫1/√(a²-x²) dx | arcsin(x/a) + C | 反三角函数 |
| ∫1/√(x²+a²) dx | ln|x + √(x²+a²)| + C | 双曲函数相关 |
不定积分的性质
1
线性性——∫[f(x) + g(x)] dx = ∫f(x) dx + ∫g(x) dx
2
常数倍——∫c·f(x) dx = c·∫f(x) dx
积分的难点
与导数不同,积分没有通用的算法。有些函数的原函数
无法用初等函数表示,比如:
- ∫e^(-x²) dx(高斯积分,概率论中很重要)
- ∫sin(x)/x dx(正弦积分)
- ∫1/ln(x) dx(对数积分)
这些积分需要用数值方法或特殊函数来处理。
积分与 AI 的联系
在概率论中,概率密度函数的积分就是概率。
机器学习中很多计算都涉及积分——比如求期望、求边缘概率。
理解积分,才能理解概率模型的数学基础。
📖 本章小结
- 不定积分 = 求原函数,结果是一个函数族(带常数 C)
- 积分公式是导数公式的"反过来"
- 常数 C 代表一族形状相同、位置不同的曲线
- 验证方法:对结果求导,看是否等于被积函数
- 有些积分无法用初等函数表示(如高斯积分),需要用数值方法
💡 思考题
- 求 ∫(3x² + 2x - 1)dx,并验证结果。
- 为什么 ∫1/x dx = ln|x| + C 而不是 ln(x) + C?(提示:x 可能为负)
- ∫eˣ dx = eˣ + C,那 ∫e²ˣ dx 是什么?(提示:用换元法,第 14 章会讲)
12. 定积分:累积的总量
不定积分求的是"原函数",而定积分求的是一个具体的数值——曲线下方的面积。
什么是定积分
∫ₐᵇ f(x) dx = 曲线 y=f(x) 与 x 轴之间,从 x=a 到 x=b 的面积
类比:计算水的总量
水管的流量随时间变化:f(t) 升/分钟。
定积分 ∫₀⁶⁰ f(t) dt 就是 60 分钟内流过的总水量。
每一瞬间的流量不同(变化的),但把所有瞬间加起来(积分),就得到总量。
定积分的计算:黎曼和
定积分的严格定义是用黎曼和——把面积切成无数个小矩形,然后加起来:
1
切分——把区间 [a, b] 分成 n 个小段
2
近似——每小段上取一个点,用 f(xᵢ) 作为矩形的高
4
取极限——让 n→∞(切得无穷细),得到精确面积
黎曼可积的条件
闭区间 [a, b] 上的连续函数一定可积。
有有限个间断点的有界函数也可积。
大多数我们遇到的函数都是可积的,所以不用太担心。
变上限积分
一个重要的概念:变上限积分——上限是变量而不是常数:
F(x) = ∫ₐˣ f(t) dt
F(x) 表示"从 a 到 x 的累积面积"。x 变大,面积也变大。这是一个关于 x 的函数。
变上限积分的重要性
微积分基本定理(下一章)告诉我们:F'(x) = f(x)。
变上限积分的导数 = 被积函数本身——这是连接微分和积分的桥梁。
定积分的性质
| 性质 | 公式 | 含义 |
| 上下限互换 | ∫ₐᵇ f(x)dx = -∫ᵇₐ f(x)dx | 反向积分取负 |
| 区间可加 | ∫ₐᵇ = ∫ₐᶜ + ∫ᶜᵇ | 面积可以分段算 |
| 线性性 | ∫(af+bg) = a∫f + b∫g | 和的积分 = 积分的和 |
定积分 vs 不定积分
不定积分:∫f(x) dx = F(x) + C(结果是一个函数)
定积分:∫ₐᵇ f(x) dx = F(b) - F(a)(结果是一个数)
它们之间由微积分基本定理连接——下一章会讲。
定积分的估值定理
如果 m ≤ f(x) ≤ M 对所有 x ∈ [a, b] 成立,那么:
m(b - a) ≤ ∫ₐᵇ f(x) dx ≤ M(b - a)
直觉:面积在最小矩形和最大矩形之间。
定积分的几何意义
- f(x) ≥ 0——定积分 = 曲线下方的面积(正值)
- f(x) ≤ 0——定积分 = 曲线下方的面积的负值
- f(x) 有正有负——定积分 = 正面积 - 负面积(净面积)
定积分的物理意义
- 位移——速度函数的定积分 = 总位移
- 功——力函数的定积分 = 做的总功
- 电荷——电流函数的定积分 = 总电荷量
- 概率——概率密度函数的定积分 = 概率
📖 本章小结
- 定积分 = 曲线下方的面积,结果是一个具体的数
- 用黎曼和定义:切分 → 近似 → 求和 → 取极限
- 变上限积分 F(x) = ∫ₐˣ f(t)dt 是关于上限 x 的函数
- 性质:上下限互换取负、区间可加、线性性
- 估值定理:m(b-a) ≤ ∫f ≤ M(b-a)
- f(x) ≥ 0 时定积分 = 面积;f(x) 有正有负时 = 净面积
💡 思考题
- 用黎曼和的思路,把 ∫₀¹ x² dx 分成 4 个小矩形,手算近似值,与精确值 1/3 比较。
- ∫₋₁¹ x dx = 0,但曲线 y=x 和 x 轴围成的面积不是 0。为什么定积分是 0?
- 如果 F(x) = ∫₀ˣ e^(-t²) dt,F'(x) 是什么?
13. 微积分基本定理
这是整个微积分中最伟大的定理,它把微分和积分统一了。牛顿和莱布尼茨的天才之处就在于发现了这个联系。
第一基本定理
如果 F(x) = ∫ₐˣ f(t) dt,那么 F'(x) = f(x)。
类比:速度与路程
F(x) 是从时刻 a 到时刻 x 的总路程。
F'(x) 是总路程对时间的导数 = 瞬时速度 = f(x)。
积分的导数等于被积函数——微分和积分互为逆运算!
第一基本定理的证明思路
F(x) = ∫ₐˣ f(t)dt,则:
F'(x) = lim(h→0) [F(x+h) - F(x)] / h = lim(h→0) [∫ₐˣ⁺ʰ f(t)dt - ∫ₐˣ f(t)dt] / h
= lim(h→0) ∫ₓˣ⁺ʰ f(t)dt / h = lim(h→0) f(c)·h / h = f(x)
(最后一步用了积分中值定理:∫ₓˣ⁺ʰ f(t)dt = f(c)·h,其中 c 在 [x, x+h] 内)
第二基本定理(牛顿-莱布尼茨公式)
如果 F(x) 是 f(x) 的一个原函数(即 F'(x) = f(x)),那么:
∫ₐᵇ f(x) dx = F(b) - F(a)
这就是牛顿-莱布尼茨公式——定积分可以用原函数来计算,不需要真的去算无穷多个小矩形的面积。
一个例子
计算 ∫₀³ x² dx:
1
求原函数——∫x² dx = x³/3 + C
2
代入——F(3) - F(0) = 27/3 - 0 = 9
微积分基本定理的 AI 意义
- 概率计算——概率密度函数的定积分 = 概率。有了基本定理,我们可以通过求原函数来计算概率
- 期望计算——连续随机变量的期望 = ∫x·f(x)dx,也是用基本定理计算
- 损失函数——很多损失函数的设计涉及积分,基本定理让计算变得可行
连续概率的例子
设随机变量 X 的概率密度函数 f(x) = 2x(0 ≤ x ≤ 1),验证 ∫₀¹ 2x dx = 1(归一化),求 P(0.5 ≤ X ≤ 1):
∫₀.₅¹ 2x dx = [x²]₀.₅¹ = 1 - 0.25 = 0.75
这就是微积分基本定理在概率中的直接应用。
基本定理的直觉理解
类比:累积与变化
想象你在存钱。
f(t) = 你每一刻存钱的速度(元/天)
F(t) = 从开始到现在,你总共存了多少钱
基本定理说:
1. F(t) 对时间求导 = 存钱速度 f(t)(累积的变化率 = 瞬时速率)
2. 从第 a 天到第 b 天存的总额 = F(b) - F(a)(总累积 = 终点 - 起点)
为什么基本定理如此重要
没有基本定理,计算定积分只能用黎曼和——把面积切成无穷多个小矩形再求和。
有了基本定理,只需要找到原函数,代入上下限相减就行了。
这是数学史上最伟大的"捷径"之一。
📖 本章小结
- 第一基本定理:F(x) = ∫ₐˣ f(t)dt ⟹ F'(x) = f(x)(积分的导数 = 被积函数)
- 第二基本定理(牛顿-莱布尼茨):∫ₐᵇ f(x)dx = F(b) - F(a)
- 基本定理把微分和积分统一为互逆运算
- 没有基本定理,计算定积分只能用无穷小矩形求和——有了它,只需代入相减
- 应用:概率计算、期望计算、损失函数设计
💡 思考题
- 用牛顿-莱布尼茨公式计算 ∫₁² (3x² - 2x + 1)dx。
- 如果 F(x) = ∫₁ˣ (1/t)dt,那么 F(e) = ?(提示:ln(t) 的原函数)
- 为什么说微积分基本定理是"数学史上最伟大的捷径"?没有它会怎样?
14. 积分技巧
有些积分可以直接用公式,有些需要技巧。这一章介绍三种最常用的积分技巧。
换元法(凑微分)
核心思想:把复杂的积分变成简单的积分,通过变量替换。
类比:换一条路走
你面前有一条崎岖的山路(复杂积分)。
换元法就是:找到一条更好走的路(新变量),走完之后再换回来。
比如求 ∫2x·eˣ² dx,令 u = x²,则 du = 2x dx,积分变成 ∫eᵘ du = eᵘ + C = eˣ² + C
分部积分
从乘法法则反过来得到:
∫u dv = uv - ∫v du
适用于:被积函数是两种不同类型函数的乘积(比如 x·eˣ、x·sin x)。
分部积分的口诀
"反对幂指三"——选择 u 的优先级:
反三角函数 > 对数函数 > 幂函数 > 指数函数 > 三角函数
优先级高的设为 u,剩下的设为 dv。
部分分式分解
适用于有理函数(多项式除以多项式)。把复杂的分式拆成简单的分式之和。
(3x+5)/[(x+1)(x+2)] = A/(x+1) + B/(x+2)
解出 A 和 B 后,分别积分。
分部积分的递推使用
有些积分需要多次分部积分。比如 ∫x²eˣ dx:
1
第一次:令 u=x², dv=eˣdx ⟹ ∫x²eˣdx = x²eˣ - ∫2xeˣdx
2
第二次:∫2xeˣdx = 2xeˣ - ∫2eˣdx = 2xeˣ - 2eˣ
3
合并:∫x²eˣdx = x²eˣ - 2xeˣ + 2eˣ + C = eˣ(x² - 2x + 2) + C
定积分的换元法注意事项
换元时上下限要跟着变!
计算 ∫₀¹ 2x·eˣ² dx,令 u = x²:
当 x=0 时 u=0,当 x=1 时 u=1。
积分变成 ∫₀¹ eᵘ du = e¹ - e⁰ = e - 1。
关键:换元后必须更新积分的上下限,不能用原来的 x 的限。
三角换元
当被积函数包含 √(a²-x²)、√(a²+x²)、√(x²-a²) 时,可以用三角换元:
| 被积函数包含 | 换元 | 理由 |
| √(a²-x²) | x = a·sin(θ) | 1-sin²θ = cos²θ |
| √(a²+x²) | x = a·tan(θ) | 1+tan²θ = sec²θ |
| √(x²-a²) | x = a·sec(θ) | sec²θ-1 = tan²θ |
AI 中的积分技巧
实际上,AI 中很少需要手算复杂积分。大多数积分由计算机数值求解。
但理解这些技巧有助于你:
- 看懂概率论和统计学的推导过程
- 理解损失函数的数学性质
- 在面试中展示数学功底
📖 本章小结
- 换元法:把复杂积分变简单,关键是找到合适的替换 u = g(x)
- 分部积分:∫u dv = uv - ∫v du,口诀"反对幂指三"
- 部分分式分解:把有理函数拆成简单分式之和
- 三角换元:处理含 √(a²±x²) 的积分
- 定积分换元时上下限要跟着变
💡 思考题
- 求 ∫x·cos(x)dx(提示:令 u=x, dv=cos(x)dx)
- 求 ∫₁² (1/x)dx,用基本积分公式验证。
- 为什么 AI 中很少需要手算复杂积分?计算机怎么处理积分?
15. 多元微积分:偏导数、梯度与矩阵求导
到目前为止,我们讨论的都是一元函数(一个输入,一个输出)。但 AI 中的函数通常有成千上万个输入——神经网络的每个参数都是一个输入。这就是多元微积分的领域。
偏导数
多元函数有多个变量。偏导数是:只让一个变量变化,其他变量固定不变,求导。
类比:调节旋钮
想象一台收音机,有两个旋钮:音量和频率。
偏导数 ∂f/∂音量 = 固定频率,只调音量时,声音变化多快?
偏导数 ∂f/∂频率 = 固定音量,只调频率时,声音变化多快?
每个旋钮的"灵敏度"就是对应变量的偏导数。
∂f/∂x = lim(Δx→0) [f(x+Δx, y) - f(x, y)] / Δx
偏导数的几何意义
对于曲面 z = f(x, y):
∂f/∂x 是曲面在 x 方向的切线斜率(固定 y)
∂f/∂y 是曲面在 y 方向的切线斜率(固定 x)
想象你站在一座山上:∂f/∂x 是"往东走的坡度",∂f/∂y 是"往北走的坡度"。
梯度
梯度是把所有偏导数打包在一起的向量:
∇f = (∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ)
梯度的几何意义:函数增长最快的方向。
梯度 = 最速上升方向
想象你站在山上,梯度指向最陡的上坡方向。
如果你想下山(最小化),就沿着梯度的反方向走。
这就是梯度下降的核心思想。
方向导数
方向导数是梯度在某个特定方向上的分量:
D_uf = ∇f · u(梯度与方向向量的点积)
其中 u 是单位方向向量。方向导数告诉你:沿着方向 u,函数变化有多快。
矩阵求导
AI 中的参数通常是矩阵和向量,所以需要矩阵求导:
| 表达式 | 对谁求导 | 结果 |
| y = Wx | ∂y/∂W | yxᵀ(布局约定下) |
| y = Wx | ∂y/∂x | Wᵀ |
| y = xᵀWx | ∂y/∂x | (W + Wᵀ)x |
| y = ||x||² | ∂y/∂x | 2x |
布局约定说明
矩阵求导有不同的布局约定(分子布局 vs 分母布局),结果可能差一个转置。
本表使用分母布局(与 PyTorch 一致)。实际使用中以框架文档为准。
矩阵求导是反向传播的基础
神经网络的前向传播是矩阵乘法:y = Wx + b
反向传播需要求损失对 W 和 b 的导数,这就是矩阵求导。
理解矩阵求导,才能真正理解反向传播的数学。
多元函数的链式法则
如果 z = f(u, v),而 u = u(x, y),v = v(x, y),那么:
∂z/∂x = (∂z/∂u)·(∂u/∂x) + (∂z/∂v)·(∂v/∂x)
∂z/∂y = (∂z/∂u)·(∂u/∂y) + (∂z/∂v)·(∂v/∂y)
类比:多条路的影响
你想知道"调温度"对"咖啡口感"的影响。
但温度同时影响"苦味"和"香气",而这两个都影响口感。
所以:∂口感/∂温度 = (∂口感/∂苦味)·(∂苦味/∂温度) + (∂口感/∂香气)·(∂香气/∂温度)
多元链式法则 = 把所有路径的影响加起来
多元链式法则 = 反向传播的数学
神经网络中,一个参数可能通过多条路径影响损失。
反向传播就是用多元链式法则,把所有路径的梯度加起来。
理解这个公式,才能真正理解反向传播为什么是那样计算的。
Hessian 矩阵
二阶偏导数组成的矩阵叫 Hessian 矩阵:
H = [∂²f/∂xᵢ∂xⱼ]
Hessian 矩阵描述了函数的曲率——在各个方向上弯曲的程度。它在二阶优化方法(如牛顿法)中很重要。
Hessian 的几何意义
想象一个碗(凸函数)。Hessian 矩阵告诉你这个碗在不同方向上有多"陡"。
如果 Hessian 是正定的(所有特征值 > 0),函数是凸的(碗口朝上)
如果 Hessian 是负定的(所有特征值 < 0),函数是凹的(碗口朝下)
如果 Hessian 有正有负的特征值,函数有鞍点
判断正定性的方法:所有顺序主子式 > 0 ⟹ 正定。
雅可比矩阵
当输出也是向量时(如神经网络的中间层),导数推广为雅可比矩阵:
如果 y = f(x),x ∈ ℝⁿ,y ∈ ℝᵐ,则雅可比 J = [∂yᵢ/∂xⱼ] 是 m×n 矩阵
雅可比矩阵在 AI 中的作用
神经网络的每一层 y = σ(Wx + b) 的反向传播都需要计算雅可比矩阵。
链式法则在向量情况下就是雅可比矩阵的乘法:
∂L/∂x = Jᵀ · ∂L/∂y
理解雅可比矩阵,才能真正理解反向传播在多维情况下的数学。
📖 本章小结
- 偏导数:只让一个变量变化时的导数,几何意义 = 曲面在该方向的切线斜率
- 梯度:所有偏导数组成的向量,指向函数增长最快的方向
- 方向导数:梯度在某方向的分量,D_uf = ∇f · u
- 矩阵求导:神经网络前向传播 y=Wx+b 的反向传播 ∂L/∂W 和 ∂L/∂x
- 多元链式法则:∂z/∂x = Σ(∂z/∂uᵢ)·(∂uᵢ/∂x),把所有路径的梯度加起来
- Hessian 矩阵:二阶偏导数矩阵,描述曲率,正定 ⟹ 凸函数
- 雅可比矩阵:向量到向量的导数,反向传播的本质是雅可比矩阵乘法
💡 思考题
- f(x,y) = x² + y²,求梯度 ∇f。在点 (1,2) 处梯度是什么?指向什么方向?
- 对于 y = Wx + b(W 是矩阵,x 是向量),∂y/∂W 和 ∂y/∂x 分别是什么?
- 为什么梯度方向是函数增长最快的方向?(提示:方向导数在梯度方向取最大值)
16. 凸优化与损失函数曲面
理解损失函数的"地形"对训练神经网络至关重要。这一章介绍凸优化的基本概念。
什么是凸函数
类比:碗和鸡蛋盒
凸函数像一个碗——不管你从哪里开始往下走,最终都会到达碗底(全局最优)。
非凸函数像一个鸡蛋盒——有很多小坑(局部最优),你可能陷在一个坑里,到达不了最深的那个坑。
凸函数的严格定义:函数 f 是凸的,当且仅当对任意 x, y 和 t ∈ [0, 1]:
f(tx + (1-t)y) ≤ tf(x) + (1-t)f(y)
几何意义:函数图像上任意两点的连线,都在函数图像的上方。
严格凸与强凸
| 概念 | 定义 | 意义 |
| 凸 | f(tx+(1-t)y) ≤ tf(x)+(1-t)f(y) | 局部最优 ≥ 全局最优 |
| 严格凸 | 严格不等号(x≠y 时) | 全局最优唯一 |
| 强凸 | f(y) ≥ f(x) + ∇f(x)ᵀ(y-x) + (m/2)||y-x||² | 收敛速度有保证(m 是强凸系数) |
凸优化问题的标准形式
min f(x) s.t. gᵢ(x) ≤ 0(不等式约束),hⱼ(x) = 0(等式约束)
其中 f 和 gᵢ 都是凸函数,hⱼ 是仿射函数(线性)。这类问题有很好的性质——局部最优就是全局最优。
凸函数的性质
| 性质 | 含义 | 对优化的意义 |
| 局部最优 = 全局最优 | 任何极小值点都是全局最小值点 | 梯度下降一定能找到最优解 |
| 一阶条件 | f(y) ≥ f(x) + ∇f(x)ᵀ(y-x) | 梯度为零就是最优 |
| 二阶条件 | Hessian 矩阵半正定 | 可以用二阶方法加速 |
深度学习的损失曲面
深度学习的损失函数通常是非凸的——有很多局部最优和鞍点。
好消息和坏消息
坏消息:非凸函数有很多局部最优,梯度下降可能陷在某个坑里。
好消息:研究表明,深度网络的大部分局部最优的质量都差不多(损失值接近),真正的问题是鞍点(在某些方向是极小值,在其他方向是极大值)和平坦区域(梯度很小,学习停滞)。
这就是为什么 SGD(随机梯度下降)比批量梯度下降更好——随机性帮助跳出鞍点。
凸性在 AI 中的应用
- 逻辑回归——损失函数是凸的,保证找到全局最优
- SVM——优化问题是凸的
- 线性回归——最小二乘是凸问题
- 深度学习——非凸,但实践中效果很好
鞍点问题
鞍点是梯度为零但不是极值的点——在某些方向是极小值,在其他方向是极大值。
类比:马鞍
想象一个马鞍的中心点。
沿着马背方向(前后),它是最低点。
沿着马身方向(左右),它是最高点。
梯度为零,但它既不是最大值也不是最小值。
鞍点比局部最优更可怕
在高维空间中,鞍点比局部最优更常见。
局部最优需要在所有方向上都是极小值——概率很低。
鞍点只需要在某些方向上是极小值——概率很高。
这就是为什么 SGD 的随机性很重要——它帮助跳出鞍点。
📖 本章小结
- 凸函数:碗口朝上,局部最优 = 全局最优,梯度下降保证收敛
- 严格凸:唯一全局最优;强凸:收敛速度有保证
- 凸优化标准形式:min f(x) s.t. 凸约束
- 深度学习的损失函数是非凸的,但大部分局部最优质量相近
- 鞍点比局部最优更常见(高维空间),SGD 的随机性帮助跳出
- 逻辑回归、SVM、线性回归是凸问题;深度学习是非凸问题
💡 思考题
- f(x) = x⁴ 是凸函数吗?f(x) = x³ 呢?为什么?
- 为什么在高维空间中鞍点比局部最优更常见?(提示:Hessian 特征值正负组合的概率)
- 既然深度学习是非凸的,为什么 SGD 还能找到好的解?
17. 梯度下降与优化算法
梯度下降是机器学习中最重要的算法——几乎所有模型都用它来训练。
梯度下降的核心思想
类比:蒙眼下山
你被蒙上眼睛,站在一座山上,想走到最低的山谷。
你能做的唯一一件事:感受脚下的坡度(计算梯度),然后往最陡的下坡方向走一步。
重复这个过程,最终你会到达谷底。
梯度下降就是这个过程的数学版本。
w ← w - η · ∇L(w)
其中 w 是参数,η 是学习率(步长),∇L 是损失函数的梯度。
学习率的选择
| 学习率 | 效果 | 类比 |
| 太大 | 震荡,甚至发散 | 步子太大,越过谷底到对面山上 |
| 太小 | 收敛太慢 | 步子太小,走半天还没到 |
| 合适 | 稳定收敛 | 步子刚好,稳步下山 |
三种梯度下降
1
批量梯度下降(BGD)——用所有数据计算梯度。准确但慢。
2
随机梯度下降(SGD)——用一个数据计算梯度。快但噪声大。
3
小批量梯度下降(Mini-batch)——用一小批数据计算梯度。兼顾速度和稳定性。实践中最常用。
动量(Momentum)
想象一个球从山上滚下来。它有惯性——不会一遇到小坑就停住。
v ← β·v + ∇L(w) w ← w - η·v
动量帮助球冲过小坑(局部最优)和鞍点,更快到达谷底。
自适应学习率优化器
在 Adam 之前,有两个重要的自适应优化器:
1
AdaGrad——为每个参数维护一个累积梯度平方和,学习率自动缩小:w = w - η · g / √(Σg² + ε)。缺点:学习率会单调递减,后期可能太小
2
RMSProp——用指数移动平均代替累积和,解决了 AdaGrad 学习率单调递减的问题:v = β·v + (1-β)·g²,w = w - η · g / √(v + ε)
Adam 优化器
Adam = Adaptive Moment Estimation,结合了动量(一阶矩)和RMSProp(二阶矩),是目前最常用的优化器:
2
更新一阶矩——m = β₁·m + (1-β₁)·g(梯度的指数移动平均)
3
更新二阶矩——v = β₂·v + (1-β₂)·g²(梯度平方的指数移动平均)
4
偏差修正——m̂ = m/(1-β₁ᵗ),v̂ = v/(1-β₂ᵗ)(t 是步数,修正初始阶段的偏差)
5
更新参数——w = w - η · m̂/(√v̂ + ε)
为什么 Adam 这么好用
- 自适应学习率——每个参数有自己的学习率,梯度大的参数学习率自动变小
- 动量——有惯性,能冲过鞍点和平坦区域
- 鲁棒——对超参数不敏感,默认参数就能工作得很好
二阶优化方法:牛顿法
梯度下降只用了一阶导数(梯度)。牛顿法同时用二阶导数(Hessian 矩阵):
w ← w - H⁻¹ · ∇L(w)
牛顿法的收敛速度是二次收敛(每步误差平方),比梯度下降的线性收敛快得多。但需要计算和求逆 Hessian 矩阵(O(n²) 存储,O(n³) 求逆),在深度学习中参数量太大,通常不可行。
梯度下降的收敛条件
凸函数 + Lipschitz 连续梯度 ⟹ 梯度下降以合适学习率收敛。
学习率应满足 η < 2/L(L 是 Lipschitz 常数)。太大震荡,太小慢。
学习率调度策略
学习率不是固定不变的。常见的调度策略:
| 策略 | 公式 | 适用场景 |
| 阶梯衰减 | 每 N 个 epoch 学习率乘以 0.1 | 简单有效,最常用 |
| 指数衰减 | η(t) = η₀ · e^(-kt) | 平滑衰减 |
| 余弦退火 | η(t) = η_min + 0.5(η_max - η_min)(1 + cos(πt/T)) | 训练后期微调 |
| 预热 | 前 N 步线性增加,然后衰减 | Transformer 训练 |
学习率的重要性
学习率是深度学习中最重要的超参数。
太大 → 震荡发散,损失不降反升
太小 → 收敛太慢,可能卡在鞍点
合适 → 稳定收敛到好的解
实践建议:从 1e-3 或 1e-4 开始,根据训练曲线调整。
📖 本章小结
- 梯度下降:w ← w - η·∇L,沿梯度反方向走一步
- 三种 GD:BGD(全量)、SGD(单个)、Mini-batch(小批量,最常用)
- 动量:有惯性,冲过鞍点和平坦区域
- AdaGrad:自适应学习率,但单调递减;RMSProp:指数移动平均解决递减问题
- Adam:动量 + RMSProp + 偏差修正,最常用的优化器
- 牛顿法:用 Hessian 加速,二次收敛,但计算代价高
- 学习率调度:阶梯衰减、指数衰减、余弦退火、预热
💡 思考题
- 为什么 Mini-batch 比 BGD 和 SGD 都好?噪声大小与 batch size 有什么关系?
- Adam 的偏差修正是为了解决什么问题?如果不修正会怎样?
- 为什么 Transformer 训练需要学习率 warmup?(提示:训练初期梯度不稳定)
18. 链式法则与反向传播
反向传播是深度学习的灵魂算法。它高效地计算损失函数对每个参数的梯度——而它本质上就是链式法则。
回顾:链式法则(第 6 章)
在第 6 章我们学过:如果 y = f(g(x)),则 dy/dx = f'(g(x)) · g'(x)。
现在把它推广到多层网络:y = f₃(f₂(f₁(x))),则 dy/dx = f₃' · f₂' · f₁'。
反向传播就是高效实现这个"逐层往回乘"的算法。
神经网络就是复合函数
一个简单的神经网络:
输入 x → 线性变换 z₁ = W₁x + b₁ → 激活 a₁ = σ(z₁) → 线性变换 z₂ = W₂a₁ + b₂ → 输出 y = σ(z₂)
这就是一个复合函数:y = σ(W₂·σ(W₁x + b₁) + b₂)
计算图示意
x → [×w] → z → [σ] → a → [MSE] → L
前向传播:从左到右计算
反向传播:从右到左,用链式法则乘回去:∂L/∂x = (∂L/∂a)·(∂a/∂z)·(∂z/∂x)
前向传播:从输入到输出
2
第一层——z₁ = W₁x + b₁,a₁ = σ(z₁)
3
第二层——z₂ = W₂a₁ + b₂,y = σ(z₂)
4
计算损失——L = loss(y, 真实标签)
反向传播:从输出到输入
反向传播用链式法则,从后往前计算每个参数的梯度:
2
第二层梯度——∂L/∂W₂ = (∂L/∂y) · (∂y/∂z₂) · (∂z₂/∂W₂)
3
传递到第一层——∂L/∂a₁ = (∂L/∂z₂) · (∂z₂/∂a₁)
4
第一层梯度——∂L/∂W₁ = (∂L/∂a₁) · (∂a₁/∂z₁) · (∂z₁/∂W₁)
类比:工厂追责
产品出了质量问题(损失大)。
前向传播:原材料 → 加工 → 组装 → 成品。
反向传播:成品有问题 → 查组装环节 → 查加工环节 → 查原材料。
每个环节都算一下:"这个问题有多大比例是我的责任?"
这就是链式法则——把责任(梯度)一层一层往回传。
反向传播的效率
如果没有反向传播,要计算 N 个参数的梯度,需要前向传播 N 次。
有了反向传播,只需要一次前向 + 一次反向,就能算出所有参数的梯度。
效率提升了 N 倍!这就是为什么反向传播让深度学习成为可能。
一个具体的数值例子
假设一个简单的网络:输入 x=1,权重 w=0.5,偏置 b=0.5,激活函数用 sigmoid,损失用 MSE,真实标签 y_true=1。
1
前向传播
z = w·x + b = 0.5×1 + 0.5 = 1.0
a = σ(1) = 1/(1+e⁻¹) ≈ 0.731
L = (a - y_true)² / 2 = (0.731 - 1)² / 2 ≈ 0.036
(1/2 是为了求导时消去平方的 2,不影响优化结果)
2
反向传播
∂L/∂a = a - y_true = 0.731 - 1 = -0.269
∂a/∂z = a(1-a) = 0.731 × 0.269 ≈ 0.197
∂z/∂w = x = 1
∂z/∂b = 1
3
用链式法则算梯度
∂L/∂w = (∂L/∂a)·(∂a/∂z)·(∂z/∂w) = -0.269 × 0.197 × 1 ≈ -0.053
∂L/∂b = (∂L/∂a)·(∂a/∂z)·(∂z/∂b) = -0.269 × 0.197 × 1 ≈ -0.053
4
更新参数(假设学习率 η = 1.0)
w_new = w - η·∂L/∂w = 0.5 - 1.0×(-0.053) = 0.553
b_new = b - η·∂L/∂b = 0.5 - 1.0×(-0.053) = 0.553
更新后 w 和 b 都变大了,预测值会更接近 1 ✓
注意梯度消失
即使在这个简单例子中,Sigmoid 的导数也只有 0.197(最大 0.25)。
多层网络中,每层都乘以 < 0.25 的数,梯度会指数级衰减。
10 层网络:0.25¹⁰ ≈ 0.000001——梯度几乎消失了!
这就是为什么深层网络需要 ReLU、残差连接等技术。
📖 本章小结
- 神经网络 = 多层复合函数,反向传播 = 链式法则
- 前向传播:从输入到输出,计算并记录每一步
- 反向传播:从输出到输入,用链式法则一层一层乘梯度
- 反向传播只需一次前向 + 一次反向就能算出所有参数的梯度
- 梯度消失:Sigmoid 导数最大 0.25,多层后梯度指数级衰减
- "工厂追责"类比:每个环节算自己的责任比例,往回传
💡 思考题
- 如果一个网络有 5 层,每层都用 Sigmoid,最后一层的梯度是 1,第一层的梯度大约是多少?
- 反向传播为什么比"对每个参数单独求梯度"快?效率差多少倍?
- 如果把 Sigmoid 换成 ReLU,梯度消失问题会改善吗?为什么?
19. 自动微分:PyTorch 背后的魔法
你在 PyTorch 里写 loss.backward(),梯度就自动算好了。这背后的秘密就是自动微分(Automatic Differentiation)。
三种求导方式
| 方式 | 原理 | 优点 | 缺点 |
| 符号微分 | 像人一样推导公式 | 精确 | 表达式爆炸增长 |
| 数值微分 | 用有限差分近似 | 简单 | 有误差,慢 |
| 自动微分 | 链式法则 + 计算图 | 精确且高效 | 需要计算图 |
三种求导方式的具体例子
求 f(x) = x·sin(x) 在 x=1 处的导数:
符号微分:f'(x) = sin(x) + x·cos(x),代入 x=1 得 sin(1)+cos(1) ≈ 1.381
数值微分:f'(1) ≈ [f(1.001)-f(0.999)] / 0.002 ≈ 1.381(有微小误差)
自动微分:把 f 拆成基本操作,用链式法则精确计算 = 1.381...
自动微分既有符号微分的精确性,又有数值微分的通用性。
静态图 vs 动态图
| 特性 | 静态图(TensorFlow 1.x) | 动态图(PyTorch) |
| 构建时机 | 先定义图,再执行 | 边执行边构建 |
| 灵活性 | 不支持 if/else 动态分支 | 完全支持 Python 控制流 |
| 调试 | 困难(图和代码分离) | 容易(标准 Python 调试) |
| 性能 | 可优化(编译期优化) | 稍慢(每次构建图) |
| 代表框架 | TensorFlow 1.x, Caffe | PyTorch, JAX |
现代趋势是动态图为主(PyTorch 是主流),用编译技术(如 torch.compile)弥补性能差距。
计算图
自动微分的核心是计算图——把计算过程表示成一个有向无环图。
类比:流水线记录
工厂的流水线不仅生产产品,还记录每一步的操作。
自动微分也是如此:前向传播时,不仅计算结果,还记录计算过程。
反向传播时,沿着记录的计算图,用链式法则算出梯度。
PyTorch 的实现
1
前向传播——PyTorch 执行你的代码,同时构建计算图,记录每一步操作
3
反向传播——调用 loss.backward(),沿着计算图反向计算梯度
4
更新参数——optimizer.step() 用梯度更新参数
requires_grad=True
在 PyTorch 中,当你创建一个张量并设置
requires_grad=True,PyTorch 就会:
- 跟踪所有对这个张量的操作
- 构建计算图
- 在反向传播时计算它的梯度
这就是自动微分的工作方式。
前向模式 vs 反向模式
自动微分有两种模式:
- 前向模式——从输入到输出,计算每个中间变量对输入的导数。适合输入少、输出多的情况。
- 反向模式——从输出到输入,计算输出对每个中间变量的导数。适合输入多、输出少的情况。
为什么深度学习用反向模式
神经网络有很多参数(输入多),但通常只有一个损失值(输出少)。
反向模式只需要一次反向传播,就能算出所有参数的梯度。
如果用前向模式,需要对每个参数做一次前向传播——太慢了。
PyTorch 代码示例
1
创建张量
x = torch.tensor(2.0, requires_grad=True)
w = torch.tensor(3.0, requires_grad=True)
2
前向传播
y = w * x + 1 → y = 7.0
loss = y ** 2 → loss = 49.0
3
反向传播
loss.backward()
PyTorch 自动计算 ∂loss/∂x 和 ∂loss/∂w
4
查看梯度
x.grad = ∂loss/∂x = 2y·w = 2×7×3 = 42
w.grad = ∂loss/∂w = 2y·x = 2×7×2 = 28
torch.no_grad() 和推理模式
推理时不需要梯度
模型训练完后做预测(推理)时,不需要计算梯度。
用 with torch.no_grad(): 包裹推理代码,可以节省内存和加速计算。
model.eval() 切换到评估模式(关闭 Dropout、BatchNorm 的训练行为),
torch.no_grad() 停止构建计算图。两者通常一起使用。
完整 PyTorch 训练代码示例
1
定义模型和损失
model = nn.Linear(1, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
2
训练循环
for epoch in range(100):
optimizer.zero_grad() # 清零梯度
output = model(x) # 前向传播(构建计算图)
loss = criterion(output, y) # 计算损失
loss.backward() # 反向传播(计算梯度)
optimizer.step() # 更新参数
计算图的生命周期
PyTorch 默认每次前向传播都会
重新构建计算图(动态图)。
这意味着:
- 每次前向传播可以不同(支持 if/else、循环等)
- 反向传播后,计算图会被释放以节省内存
- 如果需要多次反向传播,需要设置
retain_graph=True
📖 本章小结
- 三种求导方式:符号微分(精确但表达式爆炸)、数值微分(简单但有误差)、自动微分(精确且高效)
- 自动微分 = 计算图 + 链式法则,前向传播时记录操作,反向传播时算梯度
- 反向模式自动微分适合"多输入少输出"(神经网络),一次反向算出所有梯度
- 动态图(PyTorch):边执行边构建,灵活易调试
loss.backward() 触发反向传播,optimizer.step() 更新参数
torch.no_grad():推理时停止构建计算图,节省内存
💡 思考题
- 用数值微分 f'(x) ≈ [f(x+h)-f(x-h)]/(2h) 计算 f(x)=eˣ 在 x=1 处的导数,h 取 0.001,与精确值比较。
- 为什么深度学习用反向模式而不用前向模式?如果网络有 1000 个参数和 1 个损失,两种模式各需要几次传播?
- PyTorch 中为什么要先调用
optimizer.zero_grad()?不调用会怎样?
20. 激活函数与损失函数的梯度
这一章把前面学到的求导技巧应用到 AI 中最常见的函数上。
Sigmoid 的导数
σ(x) = 1/(1+e⁻ˣ) σ'(x) = σ(x)·(1-σ(x))
Sigmoid 导数的优美性质
Sigmoid 的导数可以用它自己来表示!σ'(x) = σ(x)(1-σ(x))
σ'(x) 的最大值是 0.25(当 x=0 时)。
这意味着每经过一层 Sigmoid,梯度至少缩小为原来的 1/4。
深层网络中,梯度会指数级衰减——这就是梯度消失问题。
Tanh 的导数
tanh(x) = (eˣ - e⁻ˣ)/(eˣ + e⁻ˣ) tanh'(x) = 1 - tanh²(x)
Tanh 的导数也有优美性质:可以用自己表示。tanh'(x) 的最大值是 1(当 x=0 时),比 Sigmoid 的 0.25 大,所以梯度消失问题稍好一些。
ReLU 的导数
ReLU(x) = max(0, x) ReLU'(x) = 1 if x > 0, else 0
ReLU 的导数要么是 1,要么是 0。这意味着:
- 正区间梯度不衰减(不会消失)
- 负区间梯度为 0(神经元"死亡")
ReLU 的变体
| 激活函数 | 公式 | 导数 | 特点 |
| Leaky ReLU | max(0.01x, x) | 1 if x > 0, else 0.01 | 解决神经元死亡问题 |
| ELU | x if x > 0, α(eˣ-1) | 1 if x > 0, else αeˣ | 输出均值接近 0 |
| GELU | x·Φ(x) | Φ(x) + x·φ(x) | Transformer 中常用 |
| Swish | x·σ(x) | σ(x) + x·σ(x)(1-σ(x)) | 平滑,效果好 |
Softmax 的导数
Softmax 把向量变成概率分布。它的导数是一个Jacobian 矩阵:
∂softmax(xᵢ)/∂xⱼ = softmax(xᵢ)·(δᵢⱼ - softmax(xⱼ))
其中 δᵢⱼ 是 Kronecker delta(i=j 时为 1,否则为 0)。
损失函数的梯度
MSE
均方误差——L = (y-ŷ)²/2,∂L/∂ŷ = ŷ - y(预测值与真实值的差)
交叉熵
二分类交叉熵——L = -[y·log(ŷ) + (1-y)·log(1-ŷ)],∂L/∂ŷ = (ŷ-y)/[ŷ(1-ŷ)]
Softmax+CE
Softmax + 交叉熵——组合后的梯度非常简洁:∂L/∂zᵢ = softmax(zᵢ) - yᵢ(预测概率减真实概率)
Huber
Huber Loss——小误差时像 MSE(二次),大误差时像 MAE(线性)。对异常值更鲁棒。∂L/∂ŷ = (ŷ-y) 当 |ŷ-y| ≤ δ,否则 = δ·sign(ŷ-y)
Softmax + 交叉熵 = 完美组合
单独看 Softmax 和交叉熵的梯度都很复杂。
但它们组合在一起时,梯度变成了 预测 - 真实——非常简洁!
这就是为什么分类任务几乎都用这个组合。
📖 本章小结
- Sigmoid:σ'(x) = σ(x)(1-σ(x)),最大 0.25 → 梯度消失
- Tanh:tanh'(x) = 1-tanh²(x),最大 1.0,比 Sigmoid 好
- ReLU:正区间梯度为 1(不衰减),负区间为 0(神经元死亡)
- ReLU 变体:Leaky ReLU、ELU、GELU、Swish 解决死亡问题
- Softmax 的导数是 Jacobian 矩阵
- Softmax + 交叉熵的梯度 = 预测 - 真实,非常简洁
- Huber Loss:结合 MSE 和 MAE,对异常值鲁棒
💡 思考题
- 验证 Sigmoid 导数公式:如果 σ(x) = 1/(1+e⁻ˣ),求 σ'(x) 并化简为 σ(x)(1-σ(x))。
- 为什么 GELU 在 Transformer 中比 ReLU 效果好?(提示:GELU 在 0 附近是"软切换")
- 为什么分类用交叉熵损失而不是 MSE?(提示:Softmax+CE 的梯度更简洁,MSE 的梯度涉及 Softmax 的导数)
21. 数值稳定性:梯度消失与爆炸
训练深度网络时,经常遇到梯度消失和梯度爆炸的问题。理解它们的数学原理,才能有效应对。
梯度消失
当梯度在反向传播中不断缩小时,靠近输入层的参数几乎收不到梯度信号。
类比:传话游戏
10 个人传话。每个人只传上一个人说的话的 1/2。
第 1 个人说了 100,第 2 个人听到 50,第 3 个听到 25……
第 10 个人只听到 0.1——几乎听不见了。
梯度消失就是这个意思:每经过一层,梯度就缩小一次,到最后几乎没有了。
哪些操作会导致梯度缩小?
- Sigmoid——梯度最大 0.25
- Tanh——梯度最大 1.0(但通常小于 1)
- 小权重——乘以小于 1 的数
梯度爆炸
反过来,如果每层的梯度都放大,梯度会指数级增长。
- 大权重——乘以大于 1 的数
- 深层网络——层数越多,累积效应越大
解决方案
ReLU
用 ReLU 替代 Sigmoid——正区间梯度为 1,不衰减
残差连接
ResNet 的跳跃连接——让梯度可以"跳过"某些层直接传播
BatchNorm
批归一化——每层的输出归一化到均值 0、方差 1,防止数值过大或过小。CNN 中常用
LayerNorm
层归一化——对单个样本的所有特征归一化,不依赖 batch size。Transformer 中主要用 LayerNorm
梯度裁剪
Gradient Clipping——当梯度的范数超过阈值时,按比例缩小
合理初始化
Xavier/He 初始化——让每层的输出方差保持稳定
权重衰减(Weight Decay)
L2 正则化在损失函数中加入 λ||w||²/2 项,其梯度为 λw。这等价于每次更新时把权重缩小一点:
w ← w - η·(∇L + λw) = (1 - ηλ)w - η·∇L
AdamW:解耦权重衰减
原始 Adam 中的 L2 正则化和自适应学习率耦合,效果不好。
AdamW 把权重衰减从梯度更新中解耦出来,直接在参数上衰减:
w ← w - η·(m̂/(√v̂ + ε) + λw)
AdamW 是目前 Transformer 训练的标准优化器。
梯度裁剪的实现
PyTorch 中的梯度裁剪
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
当梯度的 L2 范数超过 max_norm 时,按比例缩小所有梯度。
这行代码通常加在 loss.backward() 之后、optimizer.step() 之前。
数值溢出的坑
计算 Softmax 时,eˣ 可能溢出(x 很大时)。
解决方法:减去最大值。softmax(x) = softmax(x - max(x))
数学上等价,但数值上更稳定。PyTorch 内部就是这么做的。
Xavier 和 He 初始化
权重初始化的目标:让每层的输出方差保持稳定。
| 初始化方法 | 公式 | 适用激活函数 |
| Xavier | W ~ N(0, 1/n_in) | Sigmoid, Tanh |
| He | W ~ N(0, 2/n_in) | ReLU 及其变体 |
为什么初始化很重要
如果权重太小 → 信号逐层衰减 → 梯度消失
如果权重太大 → 信号逐层放大 → 梯度爆炸
合理的初始化让每层的输出保持在合理范围,训练才能正常进行。
📖 本章小结
- 梯度消失:Sigmoid/小权重导致梯度指数衰减,深层网络前面的层学不到
- 梯度爆炸:大权重导致梯度指数增长,训练不稳定
- 解决方案:ReLU、残差连接、BatchNorm/LayerNorm、梯度裁剪、合理初始化
- Xavier 初始化适用于 Sigmoid/Tanh,He 初始化适用于 ReLU
- 权重衰减:L2 正则化的梯度形式,AdamW 是标准做法
- 梯度裁剪:梯度范数超过阈值时按比例缩小,防爆炸
- Softmax 数值稳定性:减去最大值防溢出
💡 思考题
- 为什么 He 初始化的方差是 2/n_in 而 Xavier 是 1/n_in?(提示:ReLU 会把一半的值置零)
- BatchNorm 和 LayerNorm 的区别是什么?为什么 Transformer 用 LayerNorm 而不是 BatchNorm?
- 混合精度训练(FP16)会带来哪些数值稳定性问题?BF16 为什么比 FP16 好?
22. 概率、积分与贝叶斯推断
概率论是 AI 的另一块基石。而概率论的核心工具就是积分。
概率密度函数与积分
连续随机变量的概率由概率密度函数(PDF)描述。概率 = 积分:
P(a ≤ X ≤ b) = ∫ₐᵇ f(x) dx
类比:概率是一块面积
概率密度函数画成曲线,曲线下的总面积是 1。
某个区间的概率 = 这个区间上方的面积。
积分就是算面积,面积就是概率。
期望与方差
E[X] = ∫ x·f(x) dx(加权平均)
Var(X) = ∫ (x - μ)²·f(x) dx(分散程度)
期望是"平均来说会是多少",方差是"有多分散"。
条件概率与全概率公式
条件概率:在事件 B 已经发生的条件下,事件 A 发生的概率:
P(A|B) = P(A∩B) / P(B)
全概率公式:如果事件 B₁, B₂, ..., Bₙ 构成一个完整的划分(互斥且穷尽),那么:
P(A) = Σᵢ P(A|Bᵢ) · P(Bᵢ)
全概率公式是贝叶斯定理的分母——把所有可能原因下的概率加起来。
贝叶斯定理
P(A|B) = P(B|A) · P(A) / P(B)
类比:医生诊断
你做了个检查,结果阳性。
P(患病|阳性) = P(阳性|患病) × P(患病) / P(阳性)
即使检测准确率很高(P(阳性|患病) = 99%),如果疾病本身很罕见(P(患病) = 0.1%),
那么阳性结果实际患病的概率可能只有 10%!
这就是贝叶斯推理:结合先验知识(疾病罕见)和证据(检测结果)。
常见的概率分布
| 分布 | 概率密度函数 | AI 中的应用 |
| 均匀分布 | f(x) = 1/(b-a),a ≤ x ≤ b | 随机初始化、数据增强 |
| 正态分布 | f(x) = (1/(σ√2π)) · exp(-(x-μ)²/(2σ²)) | 权重初始化、噪声模型、中心极限定理 |
| 伯努利分布 | P(X=1) = p,P(X=0) = 1-p | 二分类、Dropout |
| 多项分布 | P(X=x) = n!/(x₁!...xₖ!)·p₁^x₁...pₖ^xₖ | 多分类、Softmax 输出 |
| 指数分布 | f(x) = λe^(-λx),x ≥ 0 | 泊松过程、等待时间 |
正态分布为什么这么重要
- 中心极限定理——大量独立随机变量的和趋向正态分布
- 最大熵原理——在已知均值和方差的情况下,正态分布是"最随机"的分布
- 权重初始化——Xavier 和 He 初始化都基于正态分布
- 噪声模型——高斯噪声是很多物理过程的自然模型
蒙特卡洛积分(简介)
很多积分在 AI 中无法解析求解(没有闭式解)。这时用蒙特卡洛方法——用随机采样来近似:
∫f(x)p(x)dx ≈ (1/N) Σᵢ f(xᵢ),其中 xᵢ 从 p(x) 中采样
这就是为什么深度学习中到处都在"采样"——生成模型(GAN、VAE、扩散模型)都依赖蒙特卡洛方法来近似积分。
贝叶斯与 AI
- 朴素贝叶斯分类器——直接用贝叶斯定理做分类
- 贝叶斯神经网络——参数不是固定值,而是概率分布
- 变分推断——用积分近似后验分布
- 极大似然估计——找使数据概率最大的参数,涉及对数似然的求导
- 最大后验估计(MAP)——在 MLE 基础上加入先验:θ_MAP = argmax P(θ|D) = argmax P(D|θ)·P(θ)。L2 正则化相当于高斯先验的 MAP
极大似然估计(MLE)
给定数据 D,找参数 θ 使 P(D|θ) 最大。
等价于最大化对数似然:log P(D|θ) = Σ log P(xᵢ|θ)
对 θ 求导令其为零,解出最优参数。
这就是为什么机器学习中经常取对数——把乘法变加法,求导更简单。
📖 本章小结
- 概率密度函数的积分 = 概率,期望 = ∫x·f(x)dx
- 条件概率:P(A|B) = P(A∩B)/P(B);全概率公式:P(A) = ΣP(A|Bᵢ)P(Bᵢ)
- 贝叶斯定理:P(A|B) = P(B|A)·P(A)/P(B),结合先验和证据
- MLE:最大化似然函数;MAP:最大化后验 = 似然 × 先验
- L2 正则化 ↔ 高斯先验的 MAP,L1 正则化 ↔ 拉普拉斯先验的 MAP
- 蒙特卡洛积分:用随机采样近似无法解析求解的积分
- 正态分布无处不在:中心极限定理、权重初始化、噪声模型
💡 思考题
- 如果疾病的先验概率 P(病) = 0.1%,检测准确率 P(阳性|病) = 99%,P(阳性|健康) = 1%,求 P(病|阳性)。(贝叶斯悖论)
- 为什么取对数后求导更简单?log(p₁·p₂·p₃) = ?
- 为什么说"L2 正则化相当于高斯先验的 MAP"?(提示:高斯先验 P(w) ∝ exp(-||w||²/2σ²))
23. 信息论:熵、交叉熵与 KL 散度
信息论是理解损失函数设计的钥匙。为什么分类任务用交叉熵而不是均方误差?答案在信息论里。
与上一章的联系
在第 22 章我们学了概率密度函数 f(x) 和期望 E[X] = ∫x·f(x)dx。
信息论的核心公式 I(x) = -log P(x) 中的 P(x) 就是概率——信息论建立在概率论之上。
本章的每个概念(熵、交叉熵、KL 散度)都是概率的某种"期望"。
信息量
一个事件的信息量与其概率成反比:
I(x) = -log P(x)
对数的底数
信息论中通常用 log₂(单位:bit),机器学习中通常用 ln(自然对数,单位:nat)。
换底公式:log₂(x) = ln(x)/ln(2)。不同底数只差一个常数倍,不影响优化结果。
概率越小的事件,发生时带来的信息量越大。"太阳从东边升起"信息量 ≈ 0,"明天会下陨石"信息量很大。
熵(Entropy)
熵是信息量的期望——平均信息量:
H(X) = -Σ P(x) log P(x)
类比:惊喜程度
熵衡量的是"平均有多惊喜"。
熵高 = 很难预测 = 不确定性大 = 骰子(6 面均匀)
熵低 = 很容易预测 = 不确定性小 = 硬币(正面概率 99.9%)
交叉熵(Cross-Entropy)
交叉熵衡量的是:用分布 Q 来编码真实分布 P 时,平均需要多少信息:
H(P, Q) = -Σ P(x) log Q(x)
交叉熵 = 分类损失函数
P 是真实标签(one-hot),Q 是模型的预测概率。
最小化交叉熵 = 让模型的预测尽可能接近真实标签。
这就是为什么分类任务用交叉熵损失!
KL 散度
KL 散度衡量两个分布之间的"距离":
D_KL(P || Q) = Σ P(x) log[P(x)/Q(x)] = H(P, Q) - H(P)
KL 散度 ≥ 0,当且仅当 P = Q 时等于 0。
KL 散度的非对称性
D_KL(P||Q) ≠ D_KL(Q||P)——KL 散度不是"距离",因为它不对称。
前向 KL D_KL(P||Q):当 P > 0 而 Q ≈ 0 时惩罚很重 → 倾向于"覆盖"所有 P 的模式(mode-covering)
反向 KL D_KL(Q||P):当 Q > 0 而 P ≈ 0 时惩罚很重 → 倾向于"聚焦"P 的某个模式(mode-seeking)
变分推断中用反向 KL,因为它更容易优化。
JS 散度
JS 散度(Jensen-Shannon Divergence)是 KL 散度的对称版本:
JS(P||Q) = ½ D_KL(P||M) + ½ D_KL(Q||M),其中 M = (P+Q)/2
JS 散度对称且有界(0 ≤ JS ≤ ln2)。原始 GAN 的损失函数就基于 JS 散度。
KL 散度在 AI 中的应用
- 变分自编码器(VAE)——损失函数包含 KL 散度项
- 知识蒸馏——让小模型的输出分布接近大模型的分布
- 强化学习——PPO 算法用 KL 散度约束策略更新幅度
- 模型校准——让预测概率更准确
困惑度(Perplexity)
语言模型的核心评估指标——困惑度,直接来自交叉熵:
Perplexity = 2^H(P, Q) = 2^(-Σ P(x) log₂ Q(x))
困惑度越低,模型越好。直觉:困惑度 = 模型在每个位置"平均有多少个等可能的选择"。困惑度 = 10 意味着模型在每个位置平均有 10 个候选词。
互信息(Mutual Information)
互信息衡量两个随机变量之间的相关性:
I(X; Y) = H(X) + H(Y) - H(X, Y) = D_KL(P(X,Y) || P(X)P(Y))
类比:知道一个能猜对多少
如果你知道今天是否下雨(X),你能多准确地猜今天是否带伞(Y)?
互信息高:知道 X 对猜 Y 很有帮助(下雨和带伞高度相关)
互信息低:知道 X 对猜 Y 没什么帮助(两者几乎独立)
互信息在 AI 中的应用
- 特征选择——选择与目标变量互信息最高的特征
- 表示学习——最大化输入和表示之间的互信息(InfoNCE 损失)
- 自监督学习——对比学习的核心就是最大化正样本对的互信息
- 神经网络剪枝——用互信息判断哪些神经元是重要的
信息论概念总结
信息量
-log P(x)——单个事件的"惊喜程度"
熵
H(X) = E[-log P(X)]——平均信息量,不确定性
交叉熵
H(P, Q) = E_P[-log Q]——用 Q 编码 P 需要的平均信息
KL 散度
D_KL(P||Q) = H(P,Q) - H(P)——两个分布的"距离"
互信息
I(X;Y) = H(X) + H(Y) - H(X,Y)——两个变量的相关性
📖 本章小结
- 信息量:-log P(x),概率越小信息量越大
- 熵:H(X) = E[-log P],平均信息量 = 不确定性
- 交叉熵:H(P,Q) = E_P[-log Q],分类损失函数
- KL 散度:D_KL(P||Q) = H(P,Q) - H(P),两个分布的"距离"(不对称)
- JS 散度:KL 的对称版本,原始 GAN 的损失基础
- 互信息:I(X;Y) = H(X) + H(Y) - H(X,Y),变量间的相关性
- 困惑度:2^交叉熵,语言模型的核心评估指标
💡 思考题
- 均匀硬币(P(正)=0.5)和偏斜硬币(P(正)=0.99)的熵分别是多少?哪个更"不确定"?
- KL 散度为什么不对称?D_KL(P||Q) 和 D_KL(Q||P) 分别在什么情况下更大?
- 如果一个语言模型的困惑度是 100,这意味着什么?怎么降低困惑度?
24. 微积分在 AI 中的全景图
恭喜你走到了最后一章!让我们把所有知识串起来,看看微积分在 AI 中的全景。
核心概念回顾
极限
无限接近——导数和积分的基础,收敛的数学定义
AI 中的微积分应用地图
| AI 领域 | 用到的微积分 | 具体应用 |
| 深度学习 | 梯度、链式法则、自动微分 | 反向传播、优化算法 |
| 概率模型 | 积分、贝叶斯定理 | 概率推断、生成模型 |
| 损失函数 | 信息论、导数 | 交叉熵、KL 散度 |
| 优化 | 凸优化、梯度下降 | SGD、Adam、牛顿法 |
| 正则化 | 导数、几何 | L1/L2 正则化 |
| 计算机视觉 | 卷积、梯度 | 卷积神经网络 |
| NLP | 矩阵求导、Softmax | Transformer、注意力机制 |
| 强化学习 | 梯度、积分 | 策略梯度、值函数 |
学习路线图
第一阶段
基础概念——第 1-8 章。极限、导数、中值定理、极值。目标:理解"变化"的数学语言
第二阶段
核心工具——第 9-14 章。泰勒展开、微分、积分、微积分基本定理。目标:掌握"累积"和"逼近"
第三阶段
进阶理论——第 15-21 章。多元微积分、梯度下降、反向传播、自动微分。目标:理解 AI 的数学核心
第四阶段
AI 应用——第 22-24 章。概率、信息论、全景图。目标:把微积分和 AI 连接起来
学习建议
1
先建立直觉——理解每个概念的几何和物理意义,不要死记公式
2
结合代码实践——用 PyTorch 手写一个简单的神经网络,观察梯度是怎么计算的
3
按需深入——遇到不懂的数学再回头查,不需要一次性掌握所有细节
微积分不是目的,是工具
你不需要成为微积分大师才能学 AI。
你需要的是:理解核心思想(变化、累积、优化),建立直觉(几何和物理意义),会用工具(PyTorch 的自动微分帮你算)。
本教程覆盖了 AI 学习者需要的所有微积分知识。
如果你理解了 80% 的内容,你已经有了足够的数学基础来深入学习 AI。
祝你学习愉快!
关键公式速查表
导数
(xⁿ)' = nxⁿ⁻¹ (eˣ)' = eˣ (ln x)' = 1/x
链式法则
[f(g(x))]' = f'(g(x))·g'(x) 反向传播的基础
梯度下降
w ← w - η·∇L(w) 优化的核心公式
Softmax
P(i) = eˣⁱ / Σeˣʲ 分类输出层
交叉熵
H = -Σ yᵢ log ŷᵢ 分类损失函数
积分公式速查表
幂函数
∫xⁿ dx = xⁿ⁺¹/(n+1) + C (n ≠ -1)
指数
∫eˣ dx = eˣ + C ∫aˣ dx = aˣ/ln(a) + C
对数
∫1/x dx = ln|x| + C ∫1/(a²+x²) dx = (1/a)arctan(x/a) + C
三角
∫cos x dx = sin x + C ∫sin x dx = -cos x + C ∫sec²x dx = tan x + C
常用数学符号表
| 符号 | 读法 | 含义 |
| ∂ | 偏微分(partial) | ∂f/∂x:只让 x 变化时的导数 |
| ∇ | nabla / 梯度 | ∇f = (∂f/∂x₁, ..., ∂f/∂xₙ) |
| Σ | 求和(sigma) | Σᵢ aᵢ = a₁ + a₂ + ... + aₙ |
| Π | 求积(pi) | Πᵢ aᵢ = a₁ · a₂ · ... · aₙ |
| ∫ | 积分 | ∫f(x)dx:求原函数或面积 |
| lim | 极限(limit) | lim(x→a) f(x):x 趋近 a 时的值 |
| ∈ | 属于 | x ∈ ℝ:x 是实数 |
| ∀ | 对于所有(for all) | ∀x > 0:对所有正数 x |
| ∃ | 存在(there exists) | ∃c ∈ (a,b):存在 c 在 (a,b) 内 |
| ⟹ | 蕴含(implies) | A ⟹ B:A 成立则 B 成立 |
推荐学习资源
| 资源 | 类型 | 适合人群 |
| 3Blue1Brown《微积分的本质》 | 视频(免费) | 想建立直觉的初学者 |
| Khan Academy 微积分 | 交互课程(免费) | 零基础,需要大量练习 |
| MIT 18.01 单变量微积分 | 课程(免费) | 想系统学习的学生 |
| MIT 18.02 多元微积分 | 课程(免费) | 学完 18.01 后继续 |
| Mathematics for Machine Learning | 书籍(免费 PDF) | 想直接为 AI 学数学的人 |
| 《深度学习》第 4-5 章 | 书籍 | 想结合 AI 学数学的人 |
| PyTorch 官方教程 | 代码 | 想动手实践的人 |
| 《动手学深度学习》(d2l.ai) | 书+代码(免费) | 数学和代码一起学 |
AI 面试常考微积分知识点
高频面试题
- 反向传播的数学原理——用链式法则推导两层网络的梯度
- 梯度消失/爆炸的原因和解决方案——Sigmoid 导数、残差连接、初始化
- Adam 优化器的原理——一阶矩、二阶矩、偏差修正
- Softmax + 交叉熵的梯度推导——结果是 预测 - 真实
- 凸函数和非凸函数的区别——局部最优 vs 全局最优
- KL 散度和交叉熵的关系——H(P,Q) = H(P) + D_KL(P||Q)
- 为什么用交叉熵而不是 MSE 做分类损失——梯度更好、概率解释
常见误区
学习微积分的常见误区
- 只背公式不理解——公式会忘,但直觉不会。理解"为什么"比记住"是什么"更重要
- 追求手算能力——AI 中的积分和求导都由计算机完成。你需要理解概念,不需要成为计算高手
- 跳过基础——极限、连续性这些基础概念看似简单,但它们是理解导数和积分的前提
- 忽视几何意义——每个微积分概念都有几何解释,画图能帮你建立直觉
- 不联系实际——微积分不是抽象的数学游戏,它有明确的物理和工程意义
📖 全书总结
- 基础篇(1-8章):极限 → 连续 → 导数 → 中值定理 → 极值。建立"变化"的数学语言
- 核心篇(9-14章):泰勒展开 → 微分 → 积分 → 基本定理。掌握"逼近"和"累积"
- 进阶篇(15-21章):多元微积分 → 凸优化 → 梯度下降 → 反向传播 → 自动微分。理解 AI 的数学核心
- 应用篇(22-24章):概率论 → 信息论 → 全景图。把微积分和 AI 完整连接
💡 综合思考题
- 从导数到反向传播:用一句话描述导数(ch5)→ 链式法则(ch6)→ 梯度(ch15)→ 反向传播(ch18)这条线索。它们是怎么一步步连接起来的?
- 损失函数的设计:为什么分类用交叉熵(ch23)而不是 MSE?从梯度的角度(ch20)和信息论的角度(ch23)分别解释。
- 优化的全景:从凸函数(ch16)到梯度下降(ch17)到 Adam(ch17)到数值稳定性(ch21),描述一个神经网络从初始化到收敛的完整数学过程。
最后一句话
微积分是人类最伟大的智力成就之一。它让我们能够
精确地描述变化、
计算累积效应、
优化复杂系统。
对于 AI 学习者来说,微积分不是障碍,而是
解锁深度学习的钥匙。掌握了微积分,你才能真正理解:
- 神经网络是怎么学习的
- 损失函数为什么长那样
- 优化算法为什么有效
- 概率模型的数学基础是什么
本教程为你铺好了这条路。剩下的,就是你的实践和探索。
加油!
微积分的本质:用极限研究变化,用积分研究累积,用梯度指导优化。
面向 AI 学习者的数学指南 · 2026
仅供学习与参考