微积分入门

面向 AI 学习者的数学指南,用大白话讲透微积分

从零基础到理解梯度下降、反向传播 · 2026

1. 微积分到底是什么

很多人一听到"微积分"就害怕,觉得这是天才才能懂的东西。其实不是。微积分的核心思想只有两个字:变化。它研究的是"东西是怎么变的"以及"变化积累起来是多少"。

微积分的研究对象 微积分研究的是连续变化的量——速度、温度、股价、神经网络的权重……这些量每时每刻都在变化,微积分就是描述和分析这种连续变化的数学工具。
与之对应的是离散数学,研究的是"一个一个数"的关系(如整数、图论、组合)。AI 中两者都用到,但微积分是连续优化的基础。
一个类比

想象你开车从北京到上海。
算术告诉你:全程 1200 公里,平均时速 100 公里/小时,所以需要 12 小时。
微积分告诉你:这一秒你的速度是 87.3 公里/小时,下一秒是 88.1 公里/小时……你每一刻都在变化,微积分就是研究这些"瞬间变化"的数学工具。

微积分的两个核心问题

整个微积分其实就在回答两个问题:

1
变化有多快?——这就是微分。比如:这一瞬间,汽车速度是多少?这一瞬间,房价涨得多快?神经网络训练时,损失函数对某个参数的变化有多敏感?
2
积累起来是多少?——这就是积分。比如:知道了每一刻的速度,总共走了多远?知道了每一秒的流量,总共流了多少水?知道了概率密度函数,某个区间的概率是多少?
类比:切蛋糕

微分 = 把蛋糕切成无限薄的薄片,研究每一片的形状(局部的性质)。
积分 = 把无限多的薄片拼回去,算出整个蛋糕的体积(整体的性质)。

微积分基本定理告诉我们:切蛋糕和拼蛋糕是互逆的操作——这是数学史上最伟大的发现之一。

为什么 AI 需要微积分

如果你学 AI,微积分不是"选修课",是必修课。原因很简单:

神经网络
训练就是求导——神经网络通过"梯度下降"来学习,梯度就是导数的推广。不懂导数,就不知道模型怎么学习。
反向传播
核心是链式法则——深度学习的灵魂算法"反向传播",本质就是复合函数求导的链式法则。
损失函数
设计靠积分和概率——交叉熵损失、KL 散度,这些损失函数的设计都依赖概率论和积分。
优化算法
SGD、Adam 都是梯度方法——所有的优化算法都建立在"求梯度"这个微积分操作之上。
正则化
L1/L2 正则化靠导数工作——L2 正则化对权重求导得到"权重衰减"项,L1 正则化产生稀疏解(部分权重变为 0)。两者都依赖导数来实现。
好消息:AI 不需要你成为微积分专家 你不需要能手算复杂的积分,也不需要证明每一个定理。你需要的是:理解核心概念(极限、导数、积分、梯度)、建立直觉(它们在几何和物理上意味着什么)、知道怎么用(在 AI 中怎么体现)。本教程就是按这个目标设计的。

微积分的历史(一分钟版)

微积分在 17 世纪由两个人独立发明:牛顿(英国)和莱布尼茨(德国)。牛顿从物理学出发(研究运动和引力),莱布尼茨从几何学出发(研究曲线的切线和面积)。他们发明了不同的符号系统,但本质上是同一个东西。

在他们之后,欧拉(18 世纪)将微积分系统化,发展了函数的概念和大量公式;柯西(19 世纪)用 ε-δ 语言严格定义了极限和连续性,让微积分从"直觉"变成了"严格"的数学;黎曼给出了定积分的严格定义(黎曼积分)。这些人的工作奠定了现代微积分的基础。

牛顿 vs 莱布尼茨的符号 牛顿用 ẋ 表示导数(上面加个点),莱布尼茨用 dy/dx。
今天我们主要用莱布尼茨的符号,因为它更直观——dy/dx 清楚地告诉你"y 的变化量除以 x 的变化量"。
📖 本章小结
  • 微积分研究连续变化的量,核心是"变化有多快"(微分)和"积累起来是多少"(积分)
  • 微积分基本定理揭示了微分和积分是互逆运算
  • AI 中,微积分是训练神经网络(梯度下降)、设计损失函数(概率和积分)、优化模型(凸优化)的数学基础
💡 思考题
  1. 除了汽车速度的例子,你能举出一个日常生活中"瞬时变化率"的例子吗?
  2. 为什么说"反向传播的本质是链式法则"?试着用自己的话解释。
  3. 如果你只能用算术(不用微积分),你能精确描述一个物体的瞬时速度吗?为什么?

2. 函数:微积分的起点

微积分研究的是"变化",而函数是描述变化的基本工具。在学微积分之前,你需要对函数有扎实的理解。

什么是函数

函数就是一个输入→输出的规则。你给它一个数(输入),它按某个规则算出另一个数(输出)。

定义域与值域

函数有两个重要概念:

AI 中的定义域和值域 神经网络的输入通常需要归一化到特定范围(如 [0,1] 或 [-1,1]),这就是对定义域的处理。
输出层的激活函数限制了值域:Sigmoid 把输出压缩到 (0,1),Tanh 压缩到 (-1,1)。
类比:自动售货机

函数就像一台自动售货机:
你投入硬币(输入 x),按下按钮,机器吐出饮料(输出 y)。
每个按钮对应一种饮料——同样的输入,永远得到同样的输出。

数学表示:y = f(x),读作"y 等于 f 作用于 x"。

f(x) = x² + 1

这个函数的意思是:给我一个数 x,我把它平方,再加 1,输出结果。

函数的图像

函数可以在坐标系里画成一条曲线。横轴是输入 x,纵轴是输出 y。每个 x 对应一个 y,所以是一条曲线(或直线)。

为什么图像很重要 微积分的很多概念——导数、积分、极值——都有几何解释。看图能帮你建立直觉。比如:
导数 = 曲线在某一点的切线斜率(陡不陡)
积分 = 曲线下方的面积(累积了多少)

初等函数的分类

微积分研究的函数大多是初等函数,分为六大类:

类型例子特点
幂函数x, x², x³, √x, 1/x最基础的函数
指数函数2ˣ, eˣ, 10ˣ增长极快,eˣ 的导数是自己
对数函数ln(x), log₂(x)指数函数的反函数,把乘法变加法
三角函数sin(x), cos(x), tan(x)周期性,描述波动和旋转
反三角函数arcsin(x), arctan(x)三角函数的反函数
常数π, e, C不随输入变化

初等函数通过四则运算(加减乘除)和复合,可以构造出无穷多种函数。

AI 中常见的函数

函数公式AI 中的用途
线性函数f(x) = wx + b线性回归、神经网络的单个神经元
Sigmoidf(x) = 1/(1 + e-x)二分类的输出层,把值压缩到 0~1
Tanhf(x) = (ex - e-x)/(ex + e-x)类似 Sigmoid 但输出范围 -1~1,均值为 0
ReLUf(x) = max(0, x)最常用的激活函数,简单高效
Softmaxf(xi) = exi / Σexj多分类的输出层,把值变成概率
指数函数f(x) = ex概率计算、增长率模型
对数函数f(x) = ln(x)信息熵、似然函数

复合函数

函数可以嵌套——一个函数的输出作为另一个函数的输入。这叫复合函数。

如果 g(x) = x²,f(x) = x + 1,那么 f(g(x)) = x² + 1
类比:流水线

工厂的流水线:第一个工人给零件打孔(函数 g),第二个工人给零件上漆(函数 f)。
整个流水线就是 f(g(x))——先打孔,再上漆。

神经网络就是一条很长的流水线——每一层是一个函数,整个网络是这些函数的复合。
输出 = f₃(f₂(f₁(输入)))

复合函数是 AI 的核心结构 神经网络的本质就是复合函数:输入数据经过一层又一层的变换,最终得到输出。
理解复合函数,是理解反向传播的前提——反向传播就是对复合函数求导的高效算法。

多层复合与神经网络

复合不限于两层。神经网络通常是多层复合:

输出 = f₅(f₄(f₃(f₂(f₁(输入)))))

每一层是一个函数变换,整个网络就是这些函数的嵌套。层数越多,网络越"深"——这就是"深度学习"名称的由来。

反函数

如果函数 f 把 x 映射到 y,那么反函数 f⁻¹ 把 y 映射回 x——它是"撤销操作"。

如果 y = f(x),则 x = f⁻¹(y)
类比:正着走和倒着走

f 是"加密",f⁻¹ 是"解密"。
f(x) = 2x + 3(乘 2 再加 3),f⁻¹(y) = (y - 3)/2(减 3 再除以 2)——一步步反过来。

不是所有函数都有反函数——只有"一一对应"的函数才有。f(x) = x² 就没有(因为 2 和 -2 都映射到 4)。

反函数与 AI 反向传播可以看作"对前向传播求反"——沿着计算图反向走。虽然不是严格的反函数,但思想是类似的:
正向:输入 → 输出,反向:输出的梯度 → 输入的梯度。

函数的性质

性质定义例子
奇函数f(-x) = -f(x)sin(x), x³
偶函数f(-x) = f(x)cos(x), x²
周期函数f(x + T) = f(x)sin(x), cos(x)(周期 2π)
单调函数x₁ < x₂ → f(x₁) < f(x₂)eˣ, ln(x)
函数性质在 AI 中的意义
  • 奇偶性——可以帮助简化计算,比如某些对称网络结构
  • 周期性——时间序列数据(股价、天气)往往有周期性
  • 单调性——损失函数通常是单调的,这有助于优化
📖 本章小结
  • 函数 = 输入→输出的规则,有定义域(合法输入)和值域(可能输出)
  • 初等函数包括幂函数、指数函数、对数函数、三角函数等,通过四则运算和复合可以构造无穷多种函数
  • 复合函数是神经网络的本质——每一层是一个函数,整个网络是它们的嵌套
  • 反函数是"撤销操作",一一对应的函数才有反函数
💡 思考题
  1. f(x) = 1/x 的定义域和值域分别是什么?
  2. 如果 f(x) = x + 1,g(x) = x²,那么 f(g(x)) 和 g(f(x)) 分别等于什么?它们相等吗?这说明了什么?
  3. 为什么神经网络的激活函数不能全部用线性函数?(提示:线性函数的复合还是线性函数)

3. 极限:无限接近的艺术

极限是微积分的地基。导数和积分都建立在极限的概念之上。理解了极限,后面的一切都顺理成章。

什么是极限

极限描述的是:当一个变量无限接近某个值时,结果会怎样。

类比:追不上的乌龟

你在追一只乌龟。你每走一步,都走到剩余距离的一半。
第一步:走到 1/2 处
第二步:走到 3/4 处
第三步:走到 7/8 处
……
你永远走不到终点,但你会无限接近它。这个"无限接近"的值,就是极限。

数学上写成:lim(n→∞) (1 - 1/2ⁿ) = 1

一个经典的例子

考虑这个数列:0.9, 0.99, 0.999, 0.9999, ...

每一项都比前一项多一个 9。这个数列的极限是 1。它永远不会"到达"1,但它无限接近1。在数学上,我们认为 0.999... = 1(无限循环小数等于 1)。

极限 ≠ 等于 极限描述的是"趋近"的过程,不是"到达"。
但当趋近到"无穷近"时,数学上就认为它们相等了。
这就是为什么 0.999... = 1——不是"约等于",是严格等于。

单侧极限

有时候从左边和右边趋近,结果不一样。这时需要分别讨论:

极限存在的条件 lim(x→a) f(x) 存在 ⟺ 左极限和右极限都存在且相等。
如果左极限 ≠ 右极限,则极限不存在。

无穷远处的极限

不只可以趋近某个点,还可以趋近无穷大:

lim(x→∞) 1/x = 0
lim(x→∞) (1 + 1/x) = 1

这描述的是:当 x 越来越大时,函数值趋向什么。水平渐近线就是由无穷远处的极限定义的——如果 lim(x→∞) f(x) = L,则 y = L 是一条水平渐近线。

极限不存在的情况

不是所有极限都存在。常见的"不存在"情况:

极限不存在的典型情况
  • 趋于无穷——lim(x→0) 1/x² = ∞(不是有限数,所以极限不存在)
  • 振荡——lim(x→0) sin(1/x) 在 -1 和 1 之间无限振荡,没有趋向任何值
  • 左右不等——lim(x→0) |x|/x,左极限 = -1,右极限 = 1,不相等

ε-δ 语言(通俗版)

你可能听说过"ε-δ 定义"——这是数学家严格定义极限的方式。通俗地说:

ε-δ 的直觉 "lim(x→a) f(x) = L" 的意思是:
不管你想让 f(x) 离 L 多近(给定 ε > 0),总能找到一个足够小的范围(δ > 0),只要 x 在 a 的 δ 范围内,f(x) 就在 L 的 ε 范围内。

本质上就是把"无限接近"说得更精确——对于任何精度要求,都能满足。

函数的极限

不只是数列有极限,函数也有极限。比如:

lim(x→2) (x² - 4)/(x - 2) = ?

如果你直接把 x=2 代入,会得到 0/0——这是"未定式",看不出答案。但如果你先化简:

(x² - 4)/(x - 2) = (x+2)(x-2)/(x-2) = x + 2

所以当 x→2 时,结果趋向于 4。

极限的精髓:看趋势,不看单点 极限关心的是"趋近时会怎样",而不是"在那个点本身怎样"。
上面的例子中,函数在 x=2 处没有定义(0/0),但极限存在(= 4)。
这就像:高速公路在某个收费站断了一小段,但你知道车流会流向哪里。

极限的四则运算法则

如果 lim f(x) = A,lim g(x) = B,那么:

1
加法——lim [f(x) + g(x)] = A + B
2
减法——lim [f(x) - g(x)] = A - B
3
乘法——lim [f(x) · g(x)] = A · B
4
除法——lim [f(x) / g(x)] = A / B(B ≠ 0)

夹逼定理

如果 g(x) ≤ f(x) ≤ h(x),且 lim g(x) = lim h(x) = L,那么 lim f(x) = L。

类比:三明治

你被夹在两个人中间。如果左边的人和右边的人都走向同一个地点,你也只能走向那个地点。
这就是"夹逼"——两个边界把函数"夹"住了,它只能去同一个地方。

夹逼定理的例子 证明 lim(x→0) x·sin(1/x) = 0:
因为 -1 ≤ sin(1/x) ≤ 1,所以 -|x| ≤ x·sin(1/x) ≤ |x|。
而 lim(x→0) (-|x|) = 0,lim(x→0) |x| = 0。
两边都趋向 0,由夹逼定理,中间也趋向 0。

两个重要极限

lim(x→0) sin(x)/x = 1
lim(x→∞) (1 + 1/x)ˣ = e ≈ 2.71828...

第二个极限就是自然常数 e 的定义——它在概率论、复利计算、微分方程中无处不在。

极限与 AI 的关系

📖 本章小结
  • 极限描述"无限接近"的趋势,是导数和积分的基础
  • 单侧极限:左右极限都存在且相等 ⟹ 极限存在
  • 夹逼定理:两个边界夹住函数,逼它趋向同一个值
  • 两个重要极限:lim sin(x)/x = 1,lim(1+1/x)ˣ = e
  • ε-δ 语言是极限的严格数学定义,本质是"对于任意精度要求都能满足"
💡 思考题
  1. 为什么 0.999... = 1?用极限的概念解释。
  2. lim(x→0) sin(1/x) 为什么不存在?画出 sin(1/x) 的图像来理解。
  3. e 的定义 lim(1+1/n)ⁿ 和"连续复利"有什么关系?

4. 连续性:没有断点的世界

连续性是一个看起来简单、但非常重要的概念。它说的是:函数的图像能不能一笔画出来,中间不断开。

什么是连续

类比:画线

连续函数 = 你拿笔从左画到右,笔不离开纸面。一条光滑的曲线。
不连续函数 = 画到某个地方,笔要跳起来移到另一个位置再继续画。

连续 = 没有跳跃、没有断开、没有洞。

连续的严格定义

函数 f(x) 在点 x=a 处连续,需要同时满足三个条件:

1
f(a) 有定义——函数在 a 点有值(不能是 0/0 这种未定义的情况)
2
极限存在——从左边趋近 a 和从右边趋近 a,得到的极限相同
3
极限 = 函数值——趋近的值恰好等于函数在 a 点的值

间断点的分类

不连续的点叫间断点,分为几类:

类型特征例子
可去间断点极限存在,但函数值不存在或不等于极限f(x) = sin(x)/x 在 x=0
跳跃间断点左右极限都存在但不相等符号函数 sgn(x) 在 x=0
无穷间断点极限为无穷大f(x) = 1/x 在 x=0

连续函数的性质:最值定理

最值定理:如果 f(x) 在闭区间 [a, b] 上连续,那么 f(x) 在 [a, b] 上一定有最大值和最小值。

最值定理对 AI 的意义 它保证了优化问题的解存在——如果损失函数在参数空间的某个有界闭区域上连续,那最优参数一定存在。
当然,实际中我们不一定能找到它(可能陷入局部最优),但至少知道它在那里。

连续函数的性质:介值定理

如果 f(x) 在 [a, b] 上连续,且 f(a) ≠ f(b),那么对于 f(a) 和 f(b) 之间的任意值 k,都存在 c ∈ (a, b) 使得 f(c) = k。

类比:温度计

早上 15°C,中午 30°C。温度是连续变化的。
那么在早上和中午之间,一定有某个时刻温度正好是 20°C。
温度不可能从 15°C 直接跳到 30°C——中间一定经过了所有中间值。

为什么连续性对 AI 很重要

神经网络的训练依赖梯度下降,而梯度下降要求损失函数是连续且光滑的。为什么?

直观理解 想象你在一座山上,想走到最低的山谷(最小化损失)。
如果山坡是光滑连续的,你可以顺着斜坡往下走。
如果山坡有悬崖断壁(不连续),你走着走着突然掉下去了,就无法稳定地找到最低点。

这就是为什么 ReLU 在 x=0 处不连续可导,但实际使用中仍然有效——因为它在"大部分地方"都是连续可导的。
连续性在 AI 中的体现
  • 损失函数——必须连续,否则梯度下降无法工作
  • 激活函数——ReLU 在 x=0 处连续但不可导(左导数为 0,右导数为 1,不相等)。但实践中仍然有效,因为数据恰好落在 x=0 的概率为 0
  • 学习率调度——通常要求学习率连续变化,避免训练不稳定

Lipschitz 连续性(进阶)

一个更强的连续性概念是Lipschitz 连续:存在常数 L,使得对任意 x₁, x₂:

|f(x₁) - f(x₂)| ≤ L · |x₁ - x₂|

L 叫做 Lipschitz 常数。直观理解:函数的变化速度有上界——不会"太陡"。

Lipschitz 连续与 AI 很多优化理论的收敛性证明都依赖 Lipschitz 条件。比如:
如果损失函数的梯度是 Lipschitz 连续的(梯度不会变化太剧烈),那么梯度下降以合适的学习率一定能收敛。
Wasserstein GAN 中的"梯度惩罚"就是在强制判别器的梯度满足 Lipschitz 条件。
📖 本章小结
  • 连续 = 图像能一笔画出来,没有跳跃、断开、洞
  • 连续的三个条件:f(a) 有定义、极限存在、极限 = 函数值
  • 间断点分为可去、跳跃、无穷三类
  • 介值定理:连续函数取遍中间所有值;最值定理:闭区间上连续函数必有最大最小值
  • Lipschitz 连续:函数变化速度有上界,是优化收敛性的重要条件
  • ReLU 在 x=0 处连续但不可导,实践中不影响使用
💡 思考题
  1. f(x) = sin(x)/x 在 x=0 处是哪种间断点?如果补充定义 f(0) = 1,是否变成连续?
  2. 用介值定理证明:方程 x³ - x - 1 = 0 在区间 [1, 2] 上至少有一个实数根。
  3. 为什么深度学习中"几乎处处可导"就够了,而不需要"处处可导"?

5. 导数:变化的速度

导数是微积分中最核心的概念之一。它回答的问题是:当输入变化一点点时,输出变化了多少?

从平均速度到瞬时速度

类比:汽车仪表盘

你开车从北京到上海,全程 1200 公里,花了 12 小时。
平均速度 = 1200/12 = 100 公里/小时。但你不可能一直匀速开。

你低头看仪表盘,此刻显示 87 公里/小时——这就是瞬时速度。
它告诉你"此时此刻"你的速度是多少,不是平均值。

瞬时速度就是速度的导数。导数把"平均"变成了"瞬时"。

可导与连续的关系

重要定理 可导一定连续,连续不一定可导。

例子:f(x) = |x| 在 x=0 处连续(图像没有断开),但不可导(有一个尖角,没有唯一的切线)。
左导数 = -1,右导数 = 1,不相等,所以导数不存在。

这就是左导数和右导数的概念:分别从左边和右边求导数。只有当左导数 = 右导数时,函数在该点才可导。

导数的几何意义

导数在几何上就是:曲线在某一点的切线斜率。

1
取两个点——在曲线上取两个靠近的点 A 和 B
2
算割线斜率——连接 A 和 B 的直线(割线)的斜率 = Δy/Δx
3
让两点靠近——把 B 逐渐向 A 移动,割线越来越接近切线
4
取极限——当 B 和 A 无限接近时,割线斜率的极限就是导数

导数的公式

f'(x) = lim(Δx→0) [f(x + Δx) - f(x)] / Δx

这个公式的含义是:当输入变化量 Δx 趋近于 0 时,输出变化量与输入变化量之比的极限。

一个具体例子

求 f(x) = x² 的导数:

1
写定义——f'(x) = lim(Δx→0) [(x+Δx)² - x²] / Δx
2
展开——(x+Δx)² = x² + 2x·Δx + (Δx)²
3
化简——分子 = 2x·Δx + (Δx)²,除以 Δx 得 2x + Δx
4
取极限——当 Δx→0 时,结果 = 2x
(x²)' = 2x

eˣ 的求导:最神奇的函数

指数函数 eˣ 有一个惊人的性质:它自己的导数就是它自己。

(eˣ)' = eˣ

证明思路:用定义——

eˣ 的导数 = lim(Δx→0) [eˣ⁺Δˣ - eˣ] / Δx = eˣ · lim(Δx→0) [eΔˣ - 1] / Δx = eˣ · 1 = eˣ

最后一步用到了 e 的定义:lim(h→0) (eʰ - 1)/h = 1。这就是 e 为什么是"自然"的底数——它是唯一一个导数等于自己的指数函数。

导数的物理意义:加速度

如果位置 s(t) 对时间求导得到速度 v(t),那么速度对时间求导得到加速度 a(t):

位置 → (求导) → 速度 → (求导) → 加速度

这就是二阶导数的物理意义。一阶导数描述变化有多快,二阶导数描述变化的变化有多快。

导数告诉了我们什么

导数值含义图像特征
f'(x) > 0函数在增加曲线向上倾斜
f'(x) < 0函数在减少曲线向下倾斜
f'(x) = 0变化率为零可能是最高点或最低点
|f'(x)| 很大变化很快曲线很陡
|f'(x)| 很小变化很慢曲线很平
AI 视角:导数就是"敏感度" 在神经网络中,损失函数 L 对参数 w 的导数 ∂L/∂w 告诉我们:
当我稍微改变 w 时,损失 L 变化多少?
如果导数很大,说明 w 对损失影响很大,需要重点调整。
如果导数很小,说明 w 对损失影响不大,可以少调或不调。
这就是梯度下降的核心思想。
📖 本章小结
  • 导数 = 瞬时变化率 = 切线斜率,定义为 lim(Δx→0) Δy/Δx
  • 可导一定连续,连续不一定可导(如 |x| 在 0 点)
  • (eˣ)' = eˣ——e 是唯一"导数等于自己"的指数函数的底数
  • 一阶导数 = 速度,二阶导数 = 加速度
  • 在 AI 中,导数 = 敏感度:∂L/∂w 告诉你 w 对损失的影响有多大
预告:从导数到梯度 这里的导数是一维情况(一个输入,一个输出)。
AI 中的函数通常有成千上万个参数——这时导数推广为梯度(第 15 章),梯度下降(第 17 章)就是用梯度来优化参数。
💡 思考题
  1. 用导数的定义求 f(x) = 3x² + 1 的导数,验证结果是否等于 6x。
  2. 为什么 f(x) = x^(1/3) 在 x=0 处不可导?(提示:导数是无穷大)
  3. eˣ 的导数是自己,那 e²ˣ 的导数是什么?用链式法则验证。

6. 导数的计算法则

每次都用极限的定义去求导太麻烦了。数学家们总结出了一套计算法则,让你能快速求出大多数函数的导数。

基本导数公式

函数 f(x)导数 f'(x)记忆口诀
C(常数)0常数不变,导数为零
x1x 本身,导数为 1
x²2x幂函数:指数下放,指数减一
xⁿnxⁿ⁻¹幂法则
eˣeˣe 的导数是它自己!
ln(x)1/x自然对数的导数
sin(x)cos(x)正变余
cos(x)-sin(x)余变负正
tan(x)sec²(x) = 1/cos²(x)正切的导数是正割的平方
arctan(x)1/(1+x²)反正切的导数
反函数求导法则 如果 y = f(x) 有反函数 x = f⁻¹(y),那么:
(f⁻¹)'(y) = 1 / f'(x)

直觉:反函数的导数 = 原函数导数的倒数。如果 f 把 x 变化放大 3 倍,那 f⁻¹ 就把 y 变化缩小 3 倍。

四则运算法则

1
加法法则——[f(x) + g(x)]' = f'(x) + g'(x)
和的导数 = 导数的和
2
乘法法则——[f(x) · g(x)]' = f'(x)·g(x) + f(x)·g'(x)
(记住:前导后不导 + 前不导后导)
3
除法法则——[f(x)/g(x)]' = [f'(x)·g(x) - f(x)·g'(x)] / [g(x)]²
4
常数倍法则——[c·f(x)]' = c·f'(x)
常数可以提到导数外面

链式法则(最重要的法则)

如果你只记住一个法则,就记这个。链式法则是反向传播的数学基础。

如果 y = f(g(x)),那么 dy/dx = f'(g(x)) · g'(x)
类比:齿轮传动

想象两个齿轮 A 和 B 啮合在一起。
A 转一圈,B 转两圈。
B 转一圈,C 转三圈。
那么 A 转一圈,C 转几圈?答案是 2 × 3 = 6 圈。

链式法则就是这个意思:把每一层的变化率乘起来。
dy/dx = (dy/du) × (du/dx)

链式法则的例子

求 y = (3x + 1)² 的导数:

1
识别内外层——外层是 u²,内层是 u = 3x + 1
2
外层求导——(u²)' = 2u = 2(3x + 1)
3
内层求导——(3x + 1)' = 3
4
相乘——y' = 2(3x + 1) × 3 = 6(3x + 1)
链式法则 = 反向传播 神经网络就是一个多层复合函数:y = f₃(f₂(f₁(x)))
求损失对输入的导数,就是用链式法则一层一层往回乘:
dy/dx = f₃' × f₂' × f₁'

反向传播算法就是高效地实现这个"往回乘"的过程。第18章会详细讲。

多层复合的链式法则

链式法则不限于两层。对于 y = f(g(h(x))):

dy/dx = f'(g(h(x))) · g'(h(x)) · h'(x)

每一层的导数乘在一起。层数越多,乘的项越多——这就是为什么深层网络会出现梯度消失(乘积趋近 0)或梯度爆炸(乘积趋近无穷)的问题。

隐函数求导(简介)

有时候函数关系不是 y = f(x) 的显式形式,而是像 x² + y² = 1(圆的方程)这样的隐式关系。这时可以用隐函数求导:对方程两边同时对 x 求导,把 y 看作 x 的函数。

隐函数求导示例 x² + y² = 1,两边对 x 求导:
2x + 2y·(dy/dx) = 0 → dy/dx = -x/y

这在优化理论中用到(约束优化的拉格朗日乘数法)。
📖 本章小结
  • 基本导数公式:幂函数、eˣ、ln(x)、三角函数的导数要熟记
  • 四则运算法则:加减直接加减,乘法用"前导后不导 + 前不导后导"
  • 链式法则(最重要):复合函数求导 = 各层导数相乘,是反向传播的数学基础
  • 多层复合的链式法则:层数越多,乘积越多 → 梯度消失/爆炸的根源
  • 反函数求导:(f⁻¹)'(y) = 1/f'(x)
  • 隐函数求导:对方程两边同时求导,把 y 看作 x 的函数
💡 思考题
  1. 求 y = sin(x²) 的导数,用链式法则验证。
  2. 求 y = x·eˣ 的导数,用乘法法则验证。
  3. 如果 y = ln(3x + 1),用链式法则求 dy/dx。
  4. 为什么深层网络用 Sigmoid 激活函数时,梯度会指数级衰减?用链式法则解释。

7. 中值定理:连接局部与整体的桥梁

中值定理是微积分中一组重要的定理。它们听起来很"理论",但实际上是理解导数应用的基础。

罗尔定理

如果函数 f(x) 满足:在闭区间 [a, b] 上连续,在开区间 (a, b) 上可导,且 f(a) = f(b),那么至少存在一个点 c ∈ (a, b),使得 f'(c) = 0。

类比:爬山回来

你从山脚出发,爬到山顶,又回到山脚。出发和结束的高度相同。
那么在途中,一定有某个地方你的瞬时速度为零——可能是山顶,可能是某个平台。

罗尔定理说的就是这件事:如果起点和终点一样高,中间一定有"平"的地方。

拉格朗日中值定理

这是罗尔定理的推广。如果 f(x) 在 [a, b] 上连续,在 (a, b) 上可导(不要求 f(a) = f(b)),那么存在 c ∈ (a, b),使得:

f'(c) = [f(b) - f(a)] / (b - a)

含义:至少存在一个点,该点的瞬时变化率等于整个区间的平均变化率。

类比:高速公路

你开了 2 小时,走了 200 公里。平均速度 100 公里/小时。
中值定理说:在某个瞬间,你的仪表盘一定显示过 正好 100 公里/小时。
你不可能一直高于 100 或一直低于 100——中间一定"经过"了 100。

中值定理的 AI 意义

为什么中值定理重要
  • 证明梯度下降的收敛性——中值定理保证了"如果梯度不为零,函数值一定在变化"
  • 理解损失函数的行为——如果两个点的损失值不同,中间一定有梯度
  • 理论基础——很多优化算法的收敛性证明都依赖中值定理

柯西中值定理

柯西中值定理是拉格朗日中值定理的推广。如果 f(x) 和 g(x) 都在 [a, b] 上连续,在 (a, b) 上可导,且 g'(x) ≠ 0,那么存在 c ∈ (a, b),使得:

[f(b) - f(a)] / [g(b) - g(a)] = f'(c) / g'(c)
柯西中值定理的意义 柯西中值定理是洛必达法则的理论基础。
当 f(a) = g(a) = 0 时,上式变成 0/0 形式,可以通过分别求导来求极限。
洛必达法则(下一章详讲):lim f(x)/g(x) = lim f'(x)/g'(x),让很多"未定式"极限变得可解。
📖 本章小结
  • 罗尔定理:f(a)=f(b) ⟹ 存在 c 使 f'(c)=0(起点终点等高,中间一定有平的地方)
  • 拉格朗日中值定理:存在 c 使 f'(c) = [f(b)-f(a)]/(b-a)(瞬时变化率 = 平均变化率)
  • 柯西中值定理:拉格朗日的推广,是洛必达法则的理论基础
  • 中值定理保证了"如果损失值在变化,中间一定有梯度存在"
💡 思考题
  1. 罗尔定理的三个条件缺一不可。分别给出去掉每个条件后结论不成立的反例。
  2. 用拉格朗日中值定理证明:如果 f'(x) = 0 对所有 x 成立,则 f(x) 是常数。
  3. 中值定理保证了"c 存在",但没有告诉你 c 在哪里。这对实际计算有什么影响?

8. 导数的应用:极值与最优化

导数最重要的应用之一就是找最大值和最小值。这在 AI 中无处不在——训练神经网络本质上就是找损失函数的最小值。

极值的必要条件

如果函数 f(x) 在点 x=c 处取得极值(极大或极小),且 f'(c) 存在,那么 f'(c) = 0。

类比:爬山

你爬到山顶(极大值),在山顶那一瞬间,你是平的——不往上也不往下。
你走到山谷(极小值),在谷底那一瞬间,你也是平的。

所以:极值点处,导数为零。但反过来不一定——导数为零的点不一定是极值(可能是拐点)。

用二阶导数判断极值类型

条件结论几何意义
f'(c) = 0 且 f''(c) > 0极小值曲线向上弯(碗口朝上)
f'(c) = 0 且 f''(c) < 0极大值曲线向下弯(碗口朝下)
f'(c) = 0 且 f''(c) = 0不确定需要用其他方法判断

洛必达法则

当你求极限时遇到 0/0 或 ∞/∞ 的形式,可以用洛必达法则:

lim(x→a) f(x)/g(x) = lim(x→a) f'(x)/g'(x)

简单说:分子分母分别求导,再求极限。

洛必达法则的例子 求 lim(x→0) sin(x)/x:
直接代入得 0/0(未定式),用洛必达法则:
lim(x→0) sin(x)/x = lim(x→0) cos(x)/1 = cos(0)/1 = 1

这和前面"第一个重要极限"的结果一致!
洛必达法则的使用条件
  • 必须是 0/0 或 ∞/∞ 的形式
  • 分子分母都要可导
  • 求导后的极限必须存在(或为无穷)
不满足条件时不能用!

用导数判断单调性

导数可以告诉我们函数在哪些区间增加、哪些区间减少:

条件结论图像特征
f'(x) > 0函数单调递增曲线向上走
f'(x) < 0函数单调递减曲线向下走
f'(x) = 0可能是极值点或拐点曲线变平或改变方向
1
求导数——计算 f'(x)
2
找临界点——解方程 f'(x) = 0
3
划分区间——用临界点把定义域分成若干区间
4
判断符号——在每个区间取一个点,看 f'(x) 的正负

完整例子:求 f(x) = x³ - 3x + 1 的极值

1
求导——f'(x) = 3x² - 3 = 3(x² - 1) = 3(x-1)(x+1)
2
找临界点——f'(x) = 0 ⟹ x = 1 或 x = -1
3
二阶导数——f''(x) = 6x
4
判断——f''(-1) = -6 < 0 ⟹ x=-1 是极大值(f(-1)=3);f''(1) = 6 > 0 ⟹ x=1 是极小值(f(1)=-1)

闭区间上的最值

重要提醒 在闭区间 [a, b] 上求最大值和最小值,需要检查所有临界点和两个端点。
极值 ≠ 最值!极值是局部的,最值是全局的。

步骤:求 f'(x)=0 的临界点 → 算 f(临界点) 和 f(a)、f(b) → 取最大和最小的。

凹凸性与拐点

二阶导数 f''(x) 告诉我们函数的弯曲方向:

条件结论几何意义
f''(x) > 0凸函数(convex)曲线向上弯,像碗口朝上
f''(x) < 0凹函数(concave)曲线向下弯,像碗口朝下
f''(x) = 0 且变号拐点弯曲方向改变的点
凹凸性在 AI 中的意义 损失函数的凹凸性决定了优化的难度:
凸函数(convex,碗口朝上,f'' ≥ 0)→ 只有一个最低点 → 梯度下降一定能找到
非凸函数(有多个坑)→ 可能陷入局部最优 → 需要更复杂的优化策略

术语说明:本文统一使用国际标准:convex = 凸 = 碗口朝上 = f'' ≥ 0;concave = 凹 = 碗口朝下 = f'' ≤ 0。部分中国教材用相反的称呼,请注意区分。

渐近线

渐近线是曲线"无限接近但永远不碰"的直线,分为三类:

类型定义例子
水平渐近线lim(x→∞) f(x) = L ⟹ y = LSigmoid:y=0 和 y=1
垂直渐近线lim(x→a) f(x) = ∞ ⟹ x = atan(x):x = π/2
斜渐近线lim(x→∞) [f(x)-(kx+b)] = 0f(x) = (x²+1)/x 的渐近线 y=x

最优化问题与 AI

AI 中的核心问题几乎都是最优化问题:

从导数到梯度下降 一维情况下,找极值就是找 f'(x) = 0 的点。
但 AI 中的函数有成千上万个变量,不能简单地令导数为零。
所以我们用梯度下降:沿着梯度(导数的推广)的反方向走,一步步逼近最小值。
这是第17章的内容。
📖 本章小结
  • 极值的必要条件:f'(c) = 0。充分条件:用二阶导数判断(f'' > 0 极小,f'' < 0 极大)
  • 闭区间上求最值:检查临界点 + 端点,取最大和最小
  • 洛必达法则:0/0 或 ∞/∞ 型极限 = 分子分母分别求导再求极限
  • 导数判断单调性:f' > 0 递增,f' < 0 递减
  • 二阶导数判断凹凸性:f'' > 0 凸(碗口朝上),f'' < 0 凹(碗口朝下)
  • 渐近线:水平(x→∞)、垂直(y→∞)、斜渐近线
💡 思考题
  1. 求 f(x) = x⁴ - 4x³ + 4 的所有极值点,并判断是极大还是极小。
  2. 求 f(x) = x³ - 3x 在 [-3, 3] 上的最大值和最小值。
  3. 用洛必达法则求 lim(x→0) (eˣ - 1)/x。
  4. 为什么深度学习的损失函数几乎都是非凸的?这对训练有什么影响?

9. 高阶导数与泰勒展开

导数本身也可以再求导——这就是高阶导数。而泰勒展开是用多项式逼近任意函数的强大工具。

高阶导数

对导数再求导,就得到二阶导数;对二阶导数再求导,就得到三阶导数……

一阶导数
f'(x)——变化的速度(斜率)
二阶导数
f''(x)——变化速度的变化(弯曲程度、加速度)
三阶导数
f'''(x)——弯曲程度的变化(加加速度)
n 阶导数
f⁽ⁿ⁾(x)——依此类推

泰勒展开:用多项式逼近一切

泰勒展开的核心思想:任何光滑函数,在某一点附近都可以用多项式来逼近。

f(x) = f(a) + f'(a)(x-a) + f''(a)(x-a)²/2! + f'''(a)(x-a)³/3! + ...
类比:逐级精确的描述

你要描述一个人的长相:
零阶近似:一个人(太粗糙了)
一阶近似:一个高个子的人(加上身高信息)
二阶近似:一个高个子、偏瘦的人(加上体型信息)
三阶近似:一个高个子、偏瘦、戴眼镜的人(加上更多细节)

每加一阶,描述就更精确。泰勒展开也是这样——项数越多,逼近越精确。

麦克劳林展开 当泰勒展开在 a = 0 处展开时,叫麦克劳林展开。下面几个重要的展开都是麦克劳林展开。

几个重要的泰勒展开

1
eˣ = 1 + x + x²/2! + x³/3! + x⁴/4! + ...
2
sin(x) = x - x³/3! + x⁵/5! - x⁷/7! + ...
3
cos(x) = 1 - x²/2! + x⁴/4! - x⁶/6! + ...
4
ln(1+x) = x - x²/2 + x³/3 - x⁴/4 + ...(|x| < 1)
5
(1+x)ⁿ = 1 + nx + n(n-1)x²/2! + ...(|x| < 1,n 为任意实数)——二项式展开

泰勒展开与 AI

泰勒展开在 AI 中的应用
  • 近似计算——计算机计算 eˣ、sin(x) 等函数时,实际上就是算泰勒展开的前几项
  • 牛顿优化法——用二阶泰勒展开近似目标函数 f(x) ≈ f(x₀) + f'(x₀)(x-x₀) + ½f''(x₀)(x-x₀)²,令导数为零得更新公式:x_new = x - f'(x)/f''(x)。比梯度下降收敛更快(二次收敛),但需要计算 Hessian 矩阵
  • 理解线性化——一阶泰勒展开就是"线性化",这正是神经网络中每一层做的事情
  • 激活函数的近似——GELU 等激活函数可以用泰勒展开来理解和实现

收敛半径

泰勒展开不是在所有地方都有效。收敛半径告诉你展开在多大范围内成立:

展开式收敛半径
eˣ, sin(x), cos(x)∞(处处收敛)
ln(1+x)|x| < 1
1/(1-x)|x| < 1
(1+x)ⁿ|x| < 1(n 非整数时)

超出收敛半径时,级数发散,展开失效。

数值例子:逐阶逼近

用泰勒展开近似 sin(0.1):

阶数展开近似值误差
1 阶0.10.1~0.00017
3 阶0.1 - 0.1³/60.099833...~8.3×10⁻⁸
5 阶0.1 - 0.1³/6 + 0.1⁵/1200.099833416...< 10⁻¹²

只取到 3 阶,精度就已经非常高了!这就是泰勒展开的威力。

泰勒展开的直觉

逐阶逼近的直觉 零阶:f(x) ≈ f(a)——在 a 点,函数值是多少?(一个点)
一阶:f(x) ≈ f(a) + f'(a)(x-a)——加上斜率信息(一条直线)
二阶:加上弯曲程度信息(一条抛物线)
三阶:加上弯曲变化的信息(一条三次曲线)

每多一阶,就多一层"细节"。阶数足够多时,就能精确表示原函数。

泰勒展开的误差

用有限项泰勒展开近似函数时,误差可以用拉格朗日余项估计:

Rₙ(x) = f⁽ⁿ⁺¹⁾(c) · (x-a)ⁿ⁺¹ / (n+1)!

其中 c 是 a 和 x 之间的某个点。这告诉我们:

📖 本章小结
  • 高阶导数:一阶=斜率,二阶=弯曲程度,三阶=弯曲变化……
  • 泰勒展开:任何光滑函数都可以用多项式逼近,项数越多越精确
  • 麦克劳林展开:在 a=0 处的泰勒展开,是最常用的形式
  • 重要展开:eˣ、sin(x)、cos(x)、ln(1+x)、(1+x)ⁿ
  • 收敛半径:展开不是处处有效,超出收敛半径会发散
  • 牛顿法:用二阶泰勒展开近似目标函数,x_new = x - f'/f'',二次收敛
💡 思考题
  1. 用泰勒展开的前 3 项近似 e^0.2,与计算器结果比较误差。
  2. 为什么 eˣ 的泰勒展开处处收敛,而 ln(1+x) 的展开只在 |x|<1 时收敛?
  3. 牛顿法比梯度下降收敛更快,为什么在深度学习中反而不常用?(提示:Hessian 矩阵的计算代价)

10. 微分:局部线性化

微分是导数的"操作版本"。它说的是:在某一点附近,用一条直线来近似曲线。

什么是微分

对于函数 y = f(x),在点 x₀ 附近,我们可以用一条切线来近似:

f(x) ≈ f(x₀) + f'(x₀) · (x - x₀)

这就是一阶泰勒展开,也叫线性近似。

类比:地球是平的

地球是圆的,但如果你只看脚下很小一块地方,它看起来是平的。

微分就是这个思想:曲线是弯的,但在很小的范围内,它看起来是直的。
这条"直线"就是切线,它的斜率就是导数。

微分的记号

微分用 dy 和 dx 表示:

dy = f'(x) · dx

其中 dx 是自变量的微小变化,dy 是因变量的相应变化。

微分与 AI 的关系

神经网络中的"局部线性化" 神经网络的每一层(比如 y = Wx + b)本身就是线性变换。
而激活函数(如 ReLU、Sigmoid)在每个局部都可以用线性函数近似。

整个神经网络 = 一系列局部线性变换的复合。
训练时,我们就是在这些"局部"里不断调整参数。

微分的思想——用简单的东西近似复杂的东西——是深度学习的哲学基础。

微分的形式不变性

一个重要性质:无论 x 是自变量还是中间变量,dy = f'(x)dx 都成立。这叫微分的形式不变性。

形式不变性的意义 如果 y = f(u),u = g(x),那么:
dy = f'(u)du(把 u 当自变量)
dy = f'(u)·g'(x)dx(把 x 当自变量)

两种写法结果一样!这就是"形式不变"——公式长一样,只是 u 和 dx 的含义不同。
这让微分在复杂计算中非常方便。

全微分

多元函数的微分叫全微分。如果 z = f(x, y):

dz = (∂f/∂x)dx + (∂f/∂y)dy

全微分 = 各个方向的偏微分之和。这是多元微积分的基础。

注:∂f/∂x 叫偏导数——只让 x 变化、y 固定时的导数。偏导数将在第 15 章详细介绍,这里先建立直觉。

微分在近似计算中的应用

利用 dy ≈ Δy,可以做快速近似计算:

例子:近似计算 √4.01 设 f(x) = √x,x₀ = 4,dx = 0.01:
f'(x) = 1/(2√x),f'(4) = 1/4
√4.01 ≈ √4 + f'(4)·0.01 = 2 + 0.25×0.01 = 2.0025
精确值:2.002498...,误差不到 0.001%!

微分的几何意义

微分 dy 表示:当 x 变化 dx 时,切线上y 的变化量(不是曲线上 y 的实际变化量)。

微分 vs 增量 微分:dy = f'(x)·dx(切线上的变化)
增量:Δy = f(x+dx) - f(x)(曲线上的实际变化)

当 dx 很小时,dy ≈ Δy(微分近似增量)。
这就是为什么线性近似在小范围内有效。
📖 本章小结
  • 微分 = 用切线近似曲线:f(x) ≈ f(x₀) + f'(x₀)·(x-x₀)
  • 微分的形式不变性:dy = f'(x)dx 无论 x 是自变量还是中间变量都成立
  • 全微分:dz = (∂f/∂x)dx + (∂f/∂y)dy,多元函数的微分
  • dy ≈ Δy(微分 ≈ 增量),可用于快速近似计算
  • 神经网络的每一层都是局部线性变换,整个网络 = 一系列局部线性变换的复合
💡 思考题
  1. 用微分近似计算 (1.02)¹⁰,与精确值比较误差。
  2. 为什么说"微分的思想是深度学习的哲学基础"?
  3. 用微分近似计算 sin(0.01)(提示:sin(x) ≈ x 当 x 很小时),与精确值比较。

11. 不定积分:导数的逆运算

从这一章开始,我们进入积分的世界。不定积分是导数的逆运算——已知导数,求原来的函数。

什么是不定积分

如果你知道 f'(x) = 2x,那么原来的函数 f(x) 是什么?

答案是 f(x) = x² + C(C 是任意常数)。这个"反推"的过程就是不定积分。

∫2x dx = x² + C
类比:知道速度求路程

你知道汽车每一刻的速度(导数),想求总共走了多远(原函数)。
不定积分就是做这件事——从速度反推路程。

但有一个问题:如果两辆车速度一样,它们走的路程可能不同——因为起点不同。
所以不定积分的结果要加一个常数 C(代表不同的起点)。

为什么叫"不定"积分

因为结果不确定——有一个任意常数 C。∫2x dx 可以是 x² + 1、x² - 5、x² + 100……有无穷多种可能。

基本积分公式

积分公式就是导数公式的"反过来":

导数积分
(xⁿ)' = nxⁿ⁻¹∫xⁿ dx = xⁿ⁺¹/(n+1) + C(n ≠ -1)
(eˣ)' = eˣ∫eˣ dx = eˣ + C
(ln x)' = 1/x∫1/x dx = ln|x| + C
(sin x)' = cos x∫cos x dx = sin x + C
(cos x)' = -sin x∫sin x dx = -cos x + C
(tan x)' = sec²x∫sec²x dx = tan x + C
(-cot x)' = csc²x∫csc²x dx = -cot x + C
积分常数 C 的几何意义 ∫2x dx = x² + C 中的 C 代表一族曲线——x² + 1, x² - 5, x² + 100 都是 2x 的原函数,它们只是在 y 方向上平移了。
这一族曲线形状完全相同,只是"起点"不同。
验证积分结果的方法 对积分结果求导,看是否等于被积函数:
∫2x dx = x² + C → 验证:(x² + C)' = 2x ✓
如果求导后不等于原函数,说明积分算错了。

更多常用积分公式

积分结果备注
∫aˣ dxaˣ/ln(a) + C指数函数(a > 0, a ≠ 1)
∫tan(x) dx-ln|cos(x)| + C或 ln|sec(x)| + C
∫cot(x) dxln|sin(x)| + C余切的积分
∫sec(x) dxln|sec(x) + tan(x)| + C正割的积分
∫csc(x) dxln|csc(x) - cot(x)| + C余割的积分
∫1/(a²+x²) dx(1/a)arctan(x/a) + C反三角函数
∫1/√(a²-x²) dxarcsin(x/a) + C反三角函数
∫1/√(x²+a²) dxln|x + √(x²+a²)| + C双曲函数相关

不定积分的性质

1
线性性——∫[f(x) + g(x)] dx = ∫f(x) dx + ∫g(x) dx
2
常数倍——∫c·f(x) dx = c·∫f(x) dx
积分的难点 与导数不同,积分没有通用的算法。有些函数的原函数无法用初等函数表示,比如:
  • ∫e^(-x²) dx(高斯积分,概率论中很重要)
  • ∫sin(x)/x dx(正弦积分)
  • ∫1/ln(x) dx(对数积分)
这些积分需要用数值方法或特殊函数来处理。
积分与 AI 的联系 在概率论中,概率密度函数的积分就是概率。
机器学习中很多计算都涉及积分——比如求期望、求边缘概率。
理解积分,才能理解概率模型的数学基础。
📖 本章小结
  • 不定积分 = 求原函数,结果是一个函数族(带常数 C)
  • 积分公式是导数公式的"反过来"
  • 常数 C 代表一族形状相同、位置不同的曲线
  • 验证方法:对结果求导,看是否等于被积函数
  • 有些积分无法用初等函数表示(如高斯积分),需要用数值方法
💡 思考题
  1. 求 ∫(3x² + 2x - 1)dx,并验证结果。
  2. 为什么 ∫1/x dx = ln|x| + C 而不是 ln(x) + C?(提示:x 可能为负)
  3. ∫eˣ dx = eˣ + C,那 ∫e²ˣ dx 是什么?(提示:用换元法,第 14 章会讲)

12. 定积分:累积的总量

不定积分求的是"原函数",而定积分求的是一个具体的数值——曲线下方的面积。

什么是定积分

∫ₐᵇ f(x) dx = 曲线 y=f(x) 与 x 轴之间,从 x=a 到 x=b 的面积
类比:计算水的总量

水管的流量随时间变化:f(t) 升/分钟。
定积分 ∫₀⁶⁰ f(t) dt 就是 60 分钟内流过的总水量。

每一瞬间的流量不同(变化的),但把所有瞬间加起来(积分),就得到总量。

定积分的计算:黎曼和

定积分的严格定义是用黎曼和——把面积切成无数个小矩形,然后加起来:

1
切分——把区间 [a, b] 分成 n 个小段
2
近似——每小段上取一个点,用 f(xᵢ) 作为矩形的高
3
求和——所有小矩形的面积加起来
4
取极限——让 n→∞(切得无穷细),得到精确面积
黎曼可积的条件 闭区间 [a, b] 上的连续函数一定可积。
有有限个间断点的有界函数也可积。
大多数我们遇到的函数都是可积的,所以不用太担心。

变上限积分

一个重要的概念:变上限积分——上限是变量而不是常数:

F(x) = ∫ₐˣ f(t) dt

F(x) 表示"从 a 到 x 的累积面积"。x 变大,面积也变大。这是一个关于 x 的函数。

变上限积分的重要性 微积分基本定理(下一章)告诉我们:F'(x) = f(x)。
变上限积分的导数 = 被积函数本身——这是连接微分和积分的桥梁。

定积分的性质

性质公式含义
上下限互换∫ₐᵇ f(x)dx = -∫ᵇₐ f(x)dx反向积分取负
区间可加∫ₐᵇ = ∫ₐᶜ + ∫ᶜᵇ面积可以分段算
线性性∫(af+bg) = a∫f + b∫g和的积分 = 积分的和
定积分 vs 不定积分 不定积分:∫f(x) dx = F(x) + C(结果是一个函数)
定积分:∫ₐᵇ f(x) dx = F(b) - F(a)(结果是一个数)

它们之间由微积分基本定理连接——下一章会讲。

定积分的估值定理

如果 m ≤ f(x) ≤ M 对所有 x ∈ [a, b] 成立,那么:

m(b - a) ≤ ∫ₐᵇ f(x) dx ≤ M(b - a)

直觉:面积在最小矩形和最大矩形之间。

定积分的几何意义

定积分的物理意义
  • 位移——速度函数的定积分 = 总位移
  • 功——力函数的定积分 = 做的总功
  • 电荷——电流函数的定积分 = 总电荷量
  • 概率——概率密度函数的定积分 = 概率
📖 本章小结
  • 定积分 = 曲线下方的面积,结果是一个具体的数
  • 用黎曼和定义:切分 → 近似 → 求和 → 取极限
  • 变上限积分 F(x) = ∫ₐˣ f(t)dt 是关于上限 x 的函数
  • 性质:上下限互换取负、区间可加、线性性
  • 估值定理:m(b-a) ≤ ∫f ≤ M(b-a)
  • f(x) ≥ 0 时定积分 = 面积;f(x) 有正有负时 = 净面积
💡 思考题
  1. 用黎曼和的思路,把 ∫₀¹ x² dx 分成 4 个小矩形,手算近似值,与精确值 1/3 比较。
  2. ∫₋₁¹ x dx = 0,但曲线 y=x 和 x 轴围成的面积不是 0。为什么定积分是 0?
  3. 如果 F(x) = ∫₀ˣ e^(-t²) dt,F'(x) 是什么?

13. 微积分基本定理

这是整个微积分中最伟大的定理,它把微分和积分统一了。牛顿和莱布尼茨的天才之处就在于发现了这个联系。

第一基本定理

如果 F(x) = ∫ₐˣ f(t) dt,那么 F'(x) = f(x)。

类比:速度与路程

F(x) 是从时刻 a 到时刻 x 的总路程。
F'(x) 是总路程对时间的导数 = 瞬时速度 = f(x)。

积分的导数等于被积函数——微分和积分互为逆运算!

第一基本定理的证明思路 F(x) = ∫ₐˣ f(t)dt,则:
F'(x) = lim(h→0) [F(x+h) - F(x)] / h = lim(h→0) [∫ₐˣ⁺ʰ f(t)dt - ∫ₐˣ f(t)dt] / h
= lim(h→0) ∫ₓˣ⁺ʰ f(t)dt / h = lim(h→0) f(c)·h / h = f(x)
(最后一步用了积分中值定理:∫ₓˣ⁺ʰ f(t)dt = f(c)·h,其中 c 在 [x, x+h] 内)

第二基本定理(牛顿-莱布尼茨公式)

如果 F(x) 是 f(x) 的一个原函数(即 F'(x) = f(x)),那么:

∫ₐᵇ f(x) dx = F(b) - F(a)

这就是牛顿-莱布尼茨公式——定积分可以用原函数来计算,不需要真的去算无穷多个小矩形的面积。

1
求不定积分——找到原函数 F(x)
2
代入上下限——计算 F(b) - F(a)

一个例子

计算 ∫₀³ x² dx:

1
求原函数——∫x² dx = x³/3 + C
2
代入——F(3) - F(0) = 27/3 - 0 = 9
微积分基本定理的 AI 意义
  • 概率计算——概率密度函数的定积分 = 概率。有了基本定理,我们可以通过求原函数来计算概率
  • 期望计算——连续随机变量的期望 = ∫x·f(x)dx,也是用基本定理计算
  • 损失函数——很多损失函数的设计涉及积分,基本定理让计算变得可行
连续概率的例子 设随机变量 X 的概率密度函数 f(x) = 2x(0 ≤ x ≤ 1),验证 ∫₀¹ 2x dx = 1(归一化),求 P(0.5 ≤ X ≤ 1):
∫₀.₅¹ 2x dx = [x²]₀.₅¹ = 1 - 0.25 = 0.75

这就是微积分基本定理在概率中的直接应用。

基本定理的直觉理解

类比:累积与变化

想象你在存钱。
f(t) = 你每一刻存钱的速度(元/天)
F(t) = 从开始到现在,你总共存了多少钱

基本定理说:
1. F(t) 对时间求导 = 存钱速度 f(t)(累积的变化率 = 瞬时速率)
2. 从第 a 天到第 b 天存的总额 = F(b) - F(a)(总累积 = 终点 - 起点)

为什么基本定理如此重要 没有基本定理,计算定积分只能用黎曼和——把面积切成无穷多个小矩形再求和。
有了基本定理,只需要找到原函数,代入上下限相减就行了。
这是数学史上最伟大的"捷径"之一。
📖 本章小结
  • 第一基本定理:F(x) = ∫ₐˣ f(t)dt ⟹ F'(x) = f(x)(积分的导数 = 被积函数)
  • 第二基本定理(牛顿-莱布尼茨):∫ₐᵇ f(x)dx = F(b) - F(a)
  • 基本定理把微分和积分统一为互逆运算
  • 没有基本定理,计算定积分只能用无穷小矩形求和——有了它,只需代入相减
  • 应用:概率计算、期望计算、损失函数设计
💡 思考题
  1. 用牛顿-莱布尼茨公式计算 ∫₁² (3x² - 2x + 1)dx。
  2. 如果 F(x) = ∫₁ˣ (1/t)dt,那么 F(e) = ?(提示:ln(t) 的原函数)
  3. 为什么说微积分基本定理是"数学史上最伟大的捷径"?没有它会怎样?

14. 积分技巧

有些积分可以直接用公式,有些需要技巧。这一章介绍三种最常用的积分技巧。

换元法(凑微分)

核心思想:把复杂的积分变成简单的积分,通过变量替换。

类比:换一条路走

你面前有一条崎岖的山路(复杂积分)。
换元法就是:找到一条更好走的路(新变量),走完之后再换回来。

比如求 ∫2x·eˣ² dx,令 u = x²,则 du = 2x dx,积分变成 ∫eᵘ du = eᵘ + C = eˣ² + C

分部积分

从乘法法则反过来得到:

∫u dv = uv - ∫v du

适用于:被积函数是两种不同类型函数的乘积(比如 x·eˣ、x·sin x)。

分部积分的口诀 "反对幂指三"——选择 u 的优先级:
反三角函数 > 对数函数 > 幂函数 > 指数函数 > 三角函数
优先级高的设为 u,剩下的设为 dv。

部分分式分解

适用于有理函数(多项式除以多项式)。把复杂的分式拆成简单的分式之和。

(3x+5)/[(x+1)(x+2)] = A/(x+1) + B/(x+2)

解出 A 和 B 后,分别积分。

分部积分的递推使用

有些积分需要多次分部积分。比如 ∫x²eˣ dx:

1
第一次:令 u=x², dv=eˣdx ⟹ ∫x²eˣdx = x²eˣ - ∫2xeˣdx
2
第二次:∫2xeˣdx = 2xeˣ - ∫2eˣdx = 2xeˣ - 2eˣ
3
合并:∫x²eˣdx = x²eˣ - 2xeˣ + 2eˣ + C = eˣ(x² - 2x + 2) + C

定积分的换元法注意事项

换元时上下限要跟着变! 计算 ∫₀¹ 2x·eˣ² dx,令 u = x²:
当 x=0 时 u=0,当 x=1 时 u=1。
积分变成 ∫₀¹ eᵘ du = e¹ - e⁰ = e - 1。

关键:换元后必须更新积分的上下限,不能用原来的 x 的限。

三角换元

当被积函数包含 √(a²-x²)、√(a²+x²)、√(x²-a²) 时,可以用三角换元:

被积函数包含换元理由
√(a²-x²)x = a·sin(θ)1-sin²θ = cos²θ
√(a²+x²)x = a·tan(θ)1+tan²θ = sec²θ
√(x²-a²)x = a·sec(θ)sec²θ-1 = tan²θ
AI 中的积分技巧 实际上,AI 中很少需要手算复杂积分。大多数积分由计算机数值求解。
但理解这些技巧有助于你:
  • 看懂概率论和统计学的推导过程
  • 理解损失函数的数学性质
  • 在面试中展示数学功底
📖 本章小结
  • 换元法:把复杂积分变简单,关键是找到合适的替换 u = g(x)
  • 分部积分:∫u dv = uv - ∫v du,口诀"反对幂指三"
  • 部分分式分解:把有理函数拆成简单分式之和
  • 三角换元:处理含 √(a²±x²) 的积分
  • 定积分换元时上下限要跟着变
💡 思考题
  1. 求 ∫x·cos(x)dx(提示:令 u=x, dv=cos(x)dx)
  2. 求 ∫₁² (1/x)dx,用基本积分公式验证。
  3. 为什么 AI 中很少需要手算复杂积分?计算机怎么处理积分?

15. 多元微积分:偏导数、梯度与矩阵求导

到目前为止,我们讨论的都是一元函数(一个输入,一个输出)。但 AI 中的函数通常有成千上万个输入——神经网络的每个参数都是一个输入。这就是多元微积分的领域。

偏导数

多元函数有多个变量。偏导数是:只让一个变量变化,其他变量固定不变,求导。

类比:调节旋钮

想象一台收音机,有两个旋钮:音量和频率。
偏导数 ∂f/∂音量 = 固定频率,只调音量时,声音变化多快?
偏导数 ∂f/∂频率 = 固定音量,只调频率时,声音变化多快?

每个旋钮的"灵敏度"就是对应变量的偏导数。

∂f/∂x = lim(Δx→0) [f(x+Δx, y) - f(x, y)] / Δx
偏导数的几何意义 对于曲面 z = f(x, y):
∂f/∂x 是曲面在 x 方向的切线斜率(固定 y)
∂f/∂y 是曲面在 y 方向的切线斜率(固定 x)

想象你站在一座山上:∂f/∂x 是"往东走的坡度",∂f/∂y 是"往北走的坡度"。

梯度

梯度是把所有偏导数打包在一起的向量:

∇f = (∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ)

梯度的几何意义:函数增长最快的方向。

梯度 = 最速上升方向 想象你站在山上,梯度指向最陡的上坡方向。
如果你想下山(最小化),就沿着梯度的反方向走。
这就是梯度下降的核心思想。

方向导数

方向导数是梯度在某个特定方向上的分量:

D_uf = ∇f · u(梯度与方向向量的点积)

其中 u 是单位方向向量。方向导数告诉你:沿着方向 u,函数变化有多快。

矩阵求导

AI 中的参数通常是矩阵和向量,所以需要矩阵求导:

表达式对谁求导结果
y = Wx∂y/∂Wyxᵀ(布局约定下)
y = Wx∂y/∂xWᵀ
y = xᵀWx∂y/∂x(W + Wᵀ)x
y = ||x||²∂y/∂x2x
布局约定说明 矩阵求导有不同的布局约定(分子布局 vs 分母布局),结果可能差一个转置。
本表使用分母布局(与 PyTorch 一致)。实际使用中以框架文档为准。
矩阵求导是反向传播的基础 神经网络的前向传播是矩阵乘法:y = Wx + b
反向传播需要求损失对 W 和 b 的导数,这就是矩阵求导。
理解矩阵求导,才能真正理解反向传播的数学。

多元函数的链式法则

如果 z = f(u, v),而 u = u(x, y),v = v(x, y),那么:

∂z/∂x = (∂z/∂u)·(∂u/∂x) + (∂z/∂v)·(∂v/∂x)
∂z/∂y = (∂z/∂u)·(∂u/∂y) + (∂z/∂v)·(∂v/∂y)
类比:多条路的影响

你想知道"调温度"对"咖啡口感"的影响。
但温度同时影响"苦味"和"香气",而这两个都影响口感。
所以:∂口感/∂温度 = (∂口感/∂苦味)·(∂苦味/∂温度) + (∂口感/∂香气)·(∂香气/∂温度)
多元链式法则 = 把所有路径的影响加起来

多元链式法则 = 反向传播的数学 神经网络中,一个参数可能通过多条路径影响损失。
反向传播就是用多元链式法则,把所有路径的梯度加起来。
理解这个公式,才能真正理解反向传播为什么是那样计算的。

Hessian 矩阵

二阶偏导数组成的矩阵叫 Hessian 矩阵:

H = [∂²f/∂xᵢ∂xⱼ]

Hessian 矩阵描述了函数的曲率——在各个方向上弯曲的程度。它在二阶优化方法(如牛顿法)中很重要。

Hessian 的几何意义 想象一个碗(凸函数)。Hessian 矩阵告诉你这个碗在不同方向上有多"陡"。
如果 Hessian 是正定的(所有特征值 > 0),函数是凸的(碗口朝上)
如果 Hessian 是负定的(所有特征值 < 0),函数是凹的(碗口朝下)
如果 Hessian 有正有负的特征值,函数有鞍点

判断正定性的方法:所有顺序主子式 > 0 ⟹ 正定。

雅可比矩阵

当输出也是向量时(如神经网络的中间层),导数推广为雅可比矩阵:

如果 y = f(x),x ∈ ℝⁿ,y ∈ ℝᵐ,则雅可比 J = [∂yᵢ/∂xⱼ] 是 m×n 矩阵
雅可比矩阵在 AI 中的作用 神经网络的每一层 y = σ(Wx + b) 的反向传播都需要计算雅可比矩阵。
链式法则在向量情况下就是雅可比矩阵的乘法:
∂L/∂x = Jᵀ · ∂L/∂y

理解雅可比矩阵,才能真正理解反向传播在多维情况下的数学。
📖 本章小结
  • 偏导数:只让一个变量变化时的导数,几何意义 = 曲面在该方向的切线斜率
  • 梯度:所有偏导数组成的向量,指向函数增长最快的方向
  • 方向导数:梯度在某方向的分量,D_uf = ∇f · u
  • 矩阵求导:神经网络前向传播 y=Wx+b 的反向传播 ∂L/∂W 和 ∂L/∂x
  • 多元链式法则:∂z/∂x = Σ(∂z/∂uᵢ)·(∂uᵢ/∂x),把所有路径的梯度加起来
  • Hessian 矩阵:二阶偏导数矩阵,描述曲率,正定 ⟹ 凸函数
  • 雅可比矩阵:向量到向量的导数,反向传播的本质是雅可比矩阵乘法
💡 思考题
  1. f(x,y) = x² + y²,求梯度 ∇f。在点 (1,2) 处梯度是什么?指向什么方向?
  2. 对于 y = Wx + b(W 是矩阵,x 是向量),∂y/∂W 和 ∂y/∂x 分别是什么?
  3. 为什么梯度方向是函数增长最快的方向?(提示:方向导数在梯度方向取最大值)

16. 凸优化与损失函数曲面

理解损失函数的"地形"对训练神经网络至关重要。这一章介绍凸优化的基本概念。

什么是凸函数

类比:碗和鸡蛋盒

凸函数像一个碗——不管你从哪里开始往下走,最终都会到达碗底(全局最优)。
非凸函数像一个鸡蛋盒——有很多小坑(局部最优),你可能陷在一个坑里,到达不了最深的那个坑。

凸函数的严格定义:函数 f 是凸的,当且仅当对任意 x, y 和 t ∈ [0, 1]:

f(tx + (1-t)y) ≤ tf(x) + (1-t)f(y)

几何意义:函数图像上任意两点的连线,都在函数图像的上方。

严格凸与强凸

概念定义意义
凸f(tx+(1-t)y) ≤ tf(x)+(1-t)f(y)局部最优 ≥ 全局最优
严格凸严格不等号(x≠y 时)全局最优唯一
强凸f(y) ≥ f(x) + ∇f(x)ᵀ(y-x) + (m/2)||y-x||²收敛速度有保证(m 是强凸系数)

凸优化问题的标准形式

min f(x)  s.t. gᵢ(x) ≤ 0(不等式约束),hⱼ(x) = 0(等式约束)

其中 f 和 gᵢ 都是凸函数,hⱼ 是仿射函数(线性)。这类问题有很好的性质——局部最优就是全局最优。

凸函数的性质

性质含义对优化的意义
局部最优 = 全局最优任何极小值点都是全局最小值点梯度下降一定能找到最优解
一阶条件f(y) ≥ f(x) + ∇f(x)ᵀ(y-x)梯度为零就是最优
二阶条件Hessian 矩阵半正定可以用二阶方法加速

深度学习的损失曲面

深度学习的损失函数通常是非凸的——有很多局部最优和鞍点。

好消息和坏消息 坏消息:非凸函数有很多局部最优,梯度下降可能陷在某个坑里。
好消息:研究表明,深度网络的大部分局部最优的质量都差不多(损失值接近),真正的问题是鞍点(在某些方向是极小值,在其他方向是极大值)和平坦区域(梯度很小,学习停滞)。

这就是为什么 SGD(随机梯度下降)比批量梯度下降更好——随机性帮助跳出鞍点。

凸性在 AI 中的应用

鞍点问题

鞍点是梯度为零但不是极值的点——在某些方向是极小值,在其他方向是极大值。

类比:马鞍

想象一个马鞍的中心点。
沿着马背方向(前后),它是最低点。
沿着马身方向(左右),它是最高点。
梯度为零,但它既不是最大值也不是最小值。

鞍点比局部最优更可怕 在高维空间中,鞍点比局部最优更常见。
局部最优需要在所有方向上都是极小值——概率很低。
鞍点只需要在某些方向上是极小值——概率很高。

这就是为什么 SGD 的随机性很重要——它帮助跳出鞍点。
📖 本章小结
  • 凸函数:碗口朝上,局部最优 = 全局最优,梯度下降保证收敛
  • 严格凸:唯一全局最优;强凸:收敛速度有保证
  • 凸优化标准形式:min f(x) s.t. 凸约束
  • 深度学习的损失函数是非凸的,但大部分局部最优质量相近
  • 鞍点比局部最优更常见(高维空间),SGD 的随机性帮助跳出
  • 逻辑回归、SVM、线性回归是凸问题;深度学习是非凸问题
💡 思考题
  1. f(x) = x⁴ 是凸函数吗?f(x) = x³ 呢?为什么?
  2. 为什么在高维空间中鞍点比局部最优更常见?(提示:Hessian 特征值正负组合的概率)
  3. 既然深度学习是非凸的,为什么 SGD 还能找到好的解?

17. 梯度下降与优化算法

梯度下降是机器学习中最重要的算法——几乎所有模型都用它来训练。

梯度下降的核心思想

类比:蒙眼下山

你被蒙上眼睛,站在一座山上,想走到最低的山谷。
你能做的唯一一件事:感受脚下的坡度(计算梯度),然后往最陡的下坡方向走一步。
重复这个过程,最终你会到达谷底。

梯度下降就是这个过程的数学版本。

w ← w - η · ∇L(w)

其中 w 是参数,η 是学习率(步长),∇L 是损失函数的梯度。

学习率的选择

学习率效果类比
太大震荡,甚至发散步子太大,越过谷底到对面山上
太小收敛太慢步子太小,走半天还没到
合适稳定收敛步子刚好,稳步下山

三种梯度下降

1
批量梯度下降(BGD)——用所有数据计算梯度。准确但慢。
2
随机梯度下降(SGD)——用一个数据计算梯度。快但噪声大。
3
小批量梯度下降(Mini-batch)——用一小批数据计算梯度。兼顾速度和稳定性。实践中最常用。

动量(Momentum)

想象一个球从山上滚下来。它有惯性——不会一遇到小坑就停住。

v ← β·v + ∇L(w)  w ← w - η·v

动量帮助球冲过小坑(局部最优)和鞍点,更快到达谷底。

自适应学习率优化器

在 Adam 之前,有两个重要的自适应优化器:

1
AdaGrad——为每个参数维护一个累积梯度平方和,学习率自动缩小:w = w - η · g / √(Σg² + ε)。缺点:学习率会单调递减,后期可能太小
2
RMSProp——用指数移动平均代替累积和,解决了 AdaGrad 学习率单调递减的问题:v = β·v + (1-β)·g²,w = w - η · g / √(v + ε)

Adam 优化器

Adam = Adaptive Moment Estimation,结合了动量(一阶矩)和RMSProp(二阶矩),是目前最常用的优化器:

1
计算梯度——当前批次的梯度 g
2
更新一阶矩——m = β₁·m + (1-β₁)·g(梯度的指数移动平均)
3
更新二阶矩——v = β₂·v + (1-β₂)·g²(梯度平方的指数移动平均)
4
偏差修正——m̂ = m/(1-β₁ᵗ),v̂ = v/(1-β₂ᵗ)(t 是步数,修正初始阶段的偏差)
5
更新参数——w = w - η · m̂/(√v̂ + ε)
为什么 Adam 这么好用
  • 自适应学习率——每个参数有自己的学习率,梯度大的参数学习率自动变小
  • 动量——有惯性,能冲过鞍点和平坦区域
  • 鲁棒——对超参数不敏感,默认参数就能工作得很好

二阶优化方法:牛顿法

梯度下降只用了一阶导数(梯度)。牛顿法同时用二阶导数(Hessian 矩阵):

w ← w - H⁻¹ · ∇L(w)

牛顿法的收敛速度是二次收敛(每步误差平方),比梯度下降的线性收敛快得多。但需要计算和求逆 Hessian 矩阵(O(n²) 存储,O(n³) 求逆),在深度学习中参数量太大,通常不可行。

梯度下降的收敛条件 凸函数 + Lipschitz 连续梯度 ⟹ 梯度下降以合适学习率收敛。
学习率应满足 η < 2/L(L 是 Lipschitz 常数)。太大震荡,太小慢。

学习率调度策略

学习率不是固定不变的。常见的调度策略:

策略公式适用场景
阶梯衰减每 N 个 epoch 学习率乘以 0.1简单有效,最常用
指数衰减η(t) = η₀ · e^(-kt)平滑衰减
余弦退火η(t) = η_min + 0.5(η_max - η_min)(1 + cos(πt/T))训练后期微调
预热前 N 步线性增加,然后衰减Transformer 训练
学习率的重要性 学习率是深度学习中最重要的超参数。
太大 → 震荡发散,损失不降反升
太小 → 收敛太慢,可能卡在鞍点
合适 → 稳定收敛到好的解

实践建议:从 1e-3 或 1e-4 开始,根据训练曲线调整。
📖 本章小结
  • 梯度下降:w ← w - η·∇L,沿梯度反方向走一步
  • 三种 GD:BGD(全量)、SGD(单个)、Mini-batch(小批量,最常用)
  • 动量:有惯性,冲过鞍点和平坦区域
  • AdaGrad:自适应学习率,但单调递减;RMSProp:指数移动平均解决递减问题
  • Adam:动量 + RMSProp + 偏差修正,最常用的优化器
  • 牛顿法:用 Hessian 加速,二次收敛,但计算代价高
  • 学习率调度:阶梯衰减、指数衰减、余弦退火、预热
💡 思考题
  1. 为什么 Mini-batch 比 BGD 和 SGD 都好?噪声大小与 batch size 有什么关系?
  2. Adam 的偏差修正是为了解决什么问题?如果不修正会怎样?
  3. 为什么 Transformer 训练需要学习率 warmup?(提示:训练初期梯度不稳定)

18. 链式法则与反向传播

反向传播是深度学习的灵魂算法。它高效地计算损失函数对每个参数的梯度——而它本质上就是链式法则。

回顾:链式法则(第 6 章) 在第 6 章我们学过:如果 y = f(g(x)),则 dy/dx = f'(g(x)) · g'(x)。
现在把它推广到多层网络:y = f₃(f₂(f₁(x))),则 dy/dx = f₃' · f₂' · f₁'。
反向传播就是高效实现这个"逐层往回乘"的算法。

神经网络就是复合函数

一个简单的神经网络:

输入 x → 线性变换 z₁ = W₁x + b₁ → 激活 a₁ = σ(z₁) → 线性变换 z₂ = W₂a₁ + b₂ → 输出 y = σ(z₂)

这就是一个复合函数:y = σ(W₂·σ(W₁x + b₁) + b₂)

计算图示意 x → [×w] → z → [σ] → a → [MSE] → L
前向传播:从左到右计算
反向传播:从右到左,用链式法则乘回去:∂L/∂x = (∂L/∂a)·(∂a/∂z)·(∂z/∂x)

前向传播:从输入到输出

1
输入——x
2
第一层——z₁ = W₁x + b₁,a₁ = σ(z₁)
3
第二层——z₂ = W₂a₁ + b₂,y = σ(z₂)
4
计算损失——L = loss(y, 真实标签)

反向传播:从输出到输入

反向传播用链式法则,从后往前计算每个参数的梯度:

1
输出层梯度——∂L/∂y(损失对输出的导数)
2
第二层梯度——∂L/∂W₂ = (∂L/∂y) · (∂y/∂z₂) · (∂z₂/∂W₂)
3
传递到第一层——∂L/∂a₁ = (∂L/∂z₂) · (∂z₂/∂a₁)
4
第一层梯度——∂L/∂W₁ = (∂L/∂a₁) · (∂a₁/∂z₁) · (∂z₁/∂W₁)
类比:工厂追责

产品出了质量问题(损失大)。
前向传播:原材料 → 加工 → 组装 → 成品。
反向传播:成品有问题 → 查组装环节 → 查加工环节 → 查原材料。

每个环节都算一下:"这个问题有多大比例是我的责任?"
这就是链式法则——把责任(梯度)一层一层往回传。

反向传播的效率 如果没有反向传播,要计算 N 个参数的梯度,需要前向传播 N 次。
有了反向传播,只需要一次前向 + 一次反向,就能算出所有参数的梯度。
效率提升了 N 倍!这就是为什么反向传播让深度学习成为可能。

一个具体的数值例子

假设一个简单的网络:输入 x=1,权重 w=0.5,偏置 b=0.5,激活函数用 sigmoid,损失用 MSE,真实标签 y_true=1。

1
前向传播
z = w·x + b = 0.5×1 + 0.5 = 1.0
a = σ(1) = 1/(1+e⁻¹) ≈ 0.731
L = (a - y_true)² / 2 = (0.731 - 1)² / 2 ≈ 0.036
(1/2 是为了求导时消去平方的 2,不影响优化结果)
2
反向传播
∂L/∂a = a - y_true = 0.731 - 1 = -0.269
∂a/∂z = a(1-a) = 0.731 × 0.269 ≈ 0.197
∂z/∂w = x = 1
∂z/∂b = 1
3
用链式法则算梯度
∂L/∂w = (∂L/∂a)·(∂a/∂z)·(∂z/∂w) = -0.269 × 0.197 × 1 ≈ -0.053
∂L/∂b = (∂L/∂a)·(∂a/∂z)·(∂z/∂b) = -0.269 × 0.197 × 1 ≈ -0.053
4
更新参数(假设学习率 η = 1.0)
w_new = w - η·∂L/∂w = 0.5 - 1.0×(-0.053) = 0.553
b_new = b - η·∂L/∂b = 0.5 - 1.0×(-0.053) = 0.553
更新后 w 和 b 都变大了,预测值会更接近 1 ✓
注意梯度消失 即使在这个简单例子中,Sigmoid 的导数也只有 0.197(最大 0.25)。
多层网络中,每层都乘以 < 0.25 的数,梯度会指数级衰减。
10 层网络:0.25¹⁰ ≈ 0.000001——梯度几乎消失了!
这就是为什么深层网络需要 ReLU、残差连接等技术。
📖 本章小结
  • 神经网络 = 多层复合函数,反向传播 = 链式法则
  • 前向传播:从输入到输出,计算并记录每一步
  • 反向传播:从输出到输入,用链式法则一层一层乘梯度
  • 反向传播只需一次前向 + 一次反向就能算出所有参数的梯度
  • 梯度消失:Sigmoid 导数最大 0.25,多层后梯度指数级衰减
  • "工厂追责"类比:每个环节算自己的责任比例,往回传
💡 思考题
  1. 如果一个网络有 5 层,每层都用 Sigmoid,最后一层的梯度是 1,第一层的梯度大约是多少?
  2. 反向传播为什么比"对每个参数单独求梯度"快?效率差多少倍?
  3. 如果把 Sigmoid 换成 ReLU,梯度消失问题会改善吗?为什么?

19. 自动微分:PyTorch 背后的魔法

你在 PyTorch 里写 loss.backward(),梯度就自动算好了。这背后的秘密就是自动微分(Automatic Differentiation)。

三种求导方式

方式原理优点缺点
符号微分像人一样推导公式精确表达式爆炸增长
数值微分用有限差分近似简单有误差,慢
自动微分链式法则 + 计算图精确且高效需要计算图
三种求导方式的具体例子 求 f(x) = x·sin(x) 在 x=1 处的导数:

符号微分:f'(x) = sin(x) + x·cos(x),代入 x=1 得 sin(1)+cos(1) ≈ 1.381
数值微分:f'(1) ≈ [f(1.001)-f(0.999)] / 0.002 ≈ 1.381(有微小误差)
自动微分:把 f 拆成基本操作,用链式法则精确计算 = 1.381...

自动微分既有符号微分的精确性,又有数值微分的通用性。

静态图 vs 动态图

特性静态图(TensorFlow 1.x)动态图(PyTorch)
构建时机先定义图,再执行边执行边构建
灵活性不支持 if/else 动态分支完全支持 Python 控制流
调试困难(图和代码分离)容易(标准 Python 调试)
性能可优化(编译期优化)稍慢(每次构建图)
代表框架TensorFlow 1.x, CaffePyTorch, JAX

现代趋势是动态图为主(PyTorch 是主流),用编译技术(如 torch.compile)弥补性能差距。

计算图

自动微分的核心是计算图——把计算过程表示成一个有向无环图。

类比:流水线记录

工厂的流水线不仅生产产品,还记录每一步的操作。
自动微分也是如此:前向传播时,不仅计算结果,还记录计算过程。
反向传播时,沿着记录的计算图,用链式法则算出梯度。

PyTorch 的实现

1
前向传播——PyTorch 执行你的代码,同时构建计算图,记录每一步操作
2
计算损失——得到 loss 值
3
反向传播——调用 loss.backward(),沿着计算图反向计算梯度
4
更新参数——optimizer.step() 用梯度更新参数
requires_grad=True 在 PyTorch 中,当你创建一个张量并设置 requires_grad=True,PyTorch 就会:
  • 跟踪所有对这个张量的操作
  • 构建计算图
  • 在反向传播时计算它的梯度
这就是自动微分的工作方式。

前向模式 vs 反向模式

自动微分有两种模式:

为什么深度学习用反向模式 神经网络有很多参数(输入多),但通常只有一个损失值(输出少)。
反向模式只需要一次反向传播,就能算出所有参数的梯度。
如果用前向模式,需要对每个参数做一次前向传播——太慢了。

PyTorch 代码示例

1
创建张量
x = torch.tensor(2.0, requires_grad=True)
w = torch.tensor(3.0, requires_grad=True)
2
前向传播
y = w * x + 1 → y = 7.0
loss = y ** 2 → loss = 49.0
3
反向传播
loss.backward()
PyTorch 自动计算 ∂loss/∂x 和 ∂loss/∂w
4
查看梯度
x.grad = ∂loss/∂x = 2y·w = 2×7×3 = 42
w.grad = ∂loss/∂w = 2y·x = 2×7×2 = 28

torch.no_grad() 和推理模式

推理时不需要梯度 模型训练完后做预测(推理)时,不需要计算梯度。
用 with torch.no_grad(): 包裹推理代码,可以节省内存和加速计算。

model.eval() 切换到评估模式(关闭 Dropout、BatchNorm 的训练行为),
torch.no_grad() 停止构建计算图。两者通常一起使用。

完整 PyTorch 训练代码示例

1
定义模型和损失
model = nn.Linear(1, 1)
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
2
训练循环
for epoch in range(100):
  optimizer.zero_grad() # 清零梯度
  output = model(x)   # 前向传播(构建计算图)
  loss = criterion(output, y) # 计算损失
  loss.backward()   # 反向传播(计算梯度)
  optimizer.step()   # 更新参数
计算图的生命周期 PyTorch 默认每次前向传播都会重新构建计算图(动态图)。
这意味着:
  • 每次前向传播可以不同(支持 if/else、循环等)
  • 反向传播后,计算图会被释放以节省内存
  • 如果需要多次反向传播,需要设置 retain_graph=True
📖 本章小结
  • 三种求导方式:符号微分(精确但表达式爆炸)、数值微分(简单但有误差)、自动微分(精确且高效)
  • 自动微分 = 计算图 + 链式法则,前向传播时记录操作,反向传播时算梯度
  • 反向模式自动微分适合"多输入少输出"(神经网络),一次反向算出所有梯度
  • 动态图(PyTorch):边执行边构建,灵活易调试
  • loss.backward() 触发反向传播,optimizer.step() 更新参数
  • torch.no_grad():推理时停止构建计算图,节省内存
💡 思考题
  1. 用数值微分 f'(x) ≈ [f(x+h)-f(x-h)]/(2h) 计算 f(x)=eˣ 在 x=1 处的导数,h 取 0.001,与精确值比较。
  2. 为什么深度学习用反向模式而不用前向模式?如果网络有 1000 个参数和 1 个损失,两种模式各需要几次传播?
  3. PyTorch 中为什么要先调用 optimizer.zero_grad()?不调用会怎样?

20. 激活函数与损失函数的梯度

这一章把前面学到的求导技巧应用到 AI 中最常见的函数上。

Sigmoid 的导数

σ(x) = 1/(1+e⁻ˣ)  σ'(x) = σ(x)·(1-σ(x))
Sigmoid 导数的优美性质 Sigmoid 的导数可以用它自己来表示!σ'(x) = σ(x)(1-σ(x))
σ'(x) 的最大值是 0.25(当 x=0 时)。
这意味着每经过一层 Sigmoid,梯度至少缩小为原来的 1/4。
深层网络中,梯度会指数级衰减——这就是梯度消失问题。

Tanh 的导数

tanh(x) = (eˣ - e⁻ˣ)/(eˣ + e⁻ˣ)  tanh'(x) = 1 - tanh²(x)

Tanh 的导数也有优美性质:可以用自己表示。tanh'(x) 的最大值是 1(当 x=0 时),比 Sigmoid 的 0.25 大,所以梯度消失问题稍好一些。

ReLU 的导数

ReLU(x) = max(0, x)  ReLU'(x) = 1 if x > 0, else 0

ReLU 的导数要么是 1,要么是 0。这意味着:

ReLU 的变体

激活函数公式导数特点
Leaky ReLUmax(0.01x, x)1 if x > 0, else 0.01解决神经元死亡问题
ELUx if x > 0, α(eˣ-1)1 if x > 0, else αeˣ输出均值接近 0
GELUx·Φ(x)Φ(x) + x·φ(x)Transformer 中常用
Swishx·σ(x)σ(x) + x·σ(x)(1-σ(x))平滑,效果好

Softmax 的导数

Softmax 把向量变成概率分布。它的导数是一个Jacobian 矩阵:

∂softmax(xᵢ)/∂xⱼ = softmax(xᵢ)·(δᵢⱼ - softmax(xⱼ))

其中 δᵢⱼ 是 Kronecker delta(i=j 时为 1,否则为 0)。

损失函数的梯度

MSE
均方误差——L = (y-ŷ)²/2,∂L/∂ŷ = ŷ - y(预测值与真实值的差)
交叉熵
二分类交叉熵——L = -[y·log(ŷ) + (1-y)·log(1-ŷ)],∂L/∂ŷ = (ŷ-y)/[ŷ(1-ŷ)]
Softmax+CE
Softmax + 交叉熵——组合后的梯度非常简洁:∂L/∂zᵢ = softmax(zᵢ) - yᵢ(预测概率减真实概率)
Huber
Huber Loss——小误差时像 MSE(二次),大误差时像 MAE(线性)。对异常值更鲁棒。∂L/∂ŷ = (ŷ-y) 当 |ŷ-y| ≤ δ,否则 = δ·sign(ŷ-y)
Softmax + 交叉熵 = 完美组合 单独看 Softmax 和交叉熵的梯度都很复杂。
但它们组合在一起时,梯度变成了 预测 - 真实——非常简洁!
这就是为什么分类任务几乎都用这个组合。
📖 本章小结
  • Sigmoid:σ'(x) = σ(x)(1-σ(x)),最大 0.25 → 梯度消失
  • Tanh:tanh'(x) = 1-tanh²(x),最大 1.0,比 Sigmoid 好
  • ReLU:正区间梯度为 1(不衰减),负区间为 0(神经元死亡)
  • ReLU 变体:Leaky ReLU、ELU、GELU、Swish 解决死亡问题
  • Softmax 的导数是 Jacobian 矩阵
  • Softmax + 交叉熵的梯度 = 预测 - 真实,非常简洁
  • Huber Loss:结合 MSE 和 MAE,对异常值鲁棒
💡 思考题
  1. 验证 Sigmoid 导数公式:如果 σ(x) = 1/(1+e⁻ˣ),求 σ'(x) 并化简为 σ(x)(1-σ(x))。
  2. 为什么 GELU 在 Transformer 中比 ReLU 效果好?(提示:GELU 在 0 附近是"软切换")
  3. 为什么分类用交叉熵损失而不是 MSE?(提示:Softmax+CE 的梯度更简洁,MSE 的梯度涉及 Softmax 的导数)

21. 数值稳定性:梯度消失与爆炸

训练深度网络时,经常遇到梯度消失和梯度爆炸的问题。理解它们的数学原理,才能有效应对。

梯度消失

当梯度在反向传播中不断缩小时,靠近输入层的参数几乎收不到梯度信号。

类比:传话游戏

10 个人传话。每个人只传上一个人说的话的 1/2。
第 1 个人说了 100,第 2 个人听到 50,第 3 个听到 25……
第 10 个人只听到 0.1——几乎听不见了。

梯度消失就是这个意思:每经过一层,梯度就缩小一次,到最后几乎没有了。

哪些操作会导致梯度缩小?

梯度爆炸

反过来,如果每层的梯度都放大,梯度会指数级增长。

解决方案

ReLU
用 ReLU 替代 Sigmoid——正区间梯度为 1,不衰减
残差连接
ResNet 的跳跃连接——让梯度可以"跳过"某些层直接传播
BatchNorm
批归一化——每层的输出归一化到均值 0、方差 1,防止数值过大或过小。CNN 中常用
LayerNorm
层归一化——对单个样本的所有特征归一化,不依赖 batch size。Transformer 中主要用 LayerNorm
梯度裁剪
Gradient Clipping——当梯度的范数超过阈值时,按比例缩小
合理初始化
Xavier/He 初始化——让每层的输出方差保持稳定

权重衰减(Weight Decay)

L2 正则化在损失函数中加入 λ||w||²/2 项,其梯度为 λw。这等价于每次更新时把权重缩小一点:

w ← w - η·(∇L + λw) = (1 - ηλ)w - η·∇L
AdamW:解耦权重衰减 原始 Adam 中的 L2 正则化和自适应学习率耦合,效果不好。
AdamW 把权重衰减从梯度更新中解耦出来,直接在参数上衰减:
w ← w - η·(m̂/(√v̂ + ε) + λw)
AdamW 是目前 Transformer 训练的标准优化器。

梯度裁剪的实现

PyTorch 中的梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
当梯度的 L2 范数超过 max_norm 时,按比例缩小所有梯度。
这行代码通常加在 loss.backward() 之后、optimizer.step() 之前。
数值溢出的坑 计算 Softmax 时,eˣ 可能溢出(x 很大时)。
解决方法:减去最大值。softmax(x) = softmax(x - max(x))
数学上等价,但数值上更稳定。PyTorch 内部就是这么做的。

Xavier 和 He 初始化

权重初始化的目标:让每层的输出方差保持稳定。

初始化方法公式适用激活函数
XavierW ~ N(0, 1/n_in)Sigmoid, Tanh
HeW ~ N(0, 2/n_in)ReLU 及其变体
为什么初始化很重要 如果权重太小 → 信号逐层衰减 → 梯度消失
如果权重太大 → 信号逐层放大 → 梯度爆炸
合理的初始化让每层的输出保持在合理范围,训练才能正常进行。
📖 本章小结
  • 梯度消失:Sigmoid/小权重导致梯度指数衰减,深层网络前面的层学不到
  • 梯度爆炸:大权重导致梯度指数增长,训练不稳定
  • 解决方案:ReLU、残差连接、BatchNorm/LayerNorm、梯度裁剪、合理初始化
  • Xavier 初始化适用于 Sigmoid/Tanh,He 初始化适用于 ReLU
  • 权重衰减:L2 正则化的梯度形式,AdamW 是标准做法
  • 梯度裁剪:梯度范数超过阈值时按比例缩小,防爆炸
  • Softmax 数值稳定性:减去最大值防溢出
💡 思考题
  1. 为什么 He 初始化的方差是 2/n_in 而 Xavier 是 1/n_in?(提示:ReLU 会把一半的值置零)
  2. BatchNorm 和 LayerNorm 的区别是什么?为什么 Transformer 用 LayerNorm 而不是 BatchNorm?
  3. 混合精度训练(FP16)会带来哪些数值稳定性问题?BF16 为什么比 FP16 好?

22. 概率、积分与贝叶斯推断

概率论是 AI 的另一块基石。而概率论的核心工具就是积分。

概率密度函数与积分

连续随机变量的概率由概率密度函数(PDF)描述。概率 = 积分:

P(a ≤ X ≤ b) = ∫ₐᵇ f(x) dx
类比:概率是一块面积

概率密度函数画成曲线,曲线下的总面积是 1。
某个区间的概率 = 这个区间上方的面积。
积分就是算面积,面积就是概率。

期望与方差

E[X] = ∫ x·f(x) dx(加权平均)
Var(X) = ∫ (x - μ)²·f(x) dx(分散程度)

期望是"平均来说会是多少",方差是"有多分散"。

条件概率与全概率公式

条件概率:在事件 B 已经发生的条件下,事件 A 发生的概率:

P(A|B) = P(A∩B) / P(B)

全概率公式:如果事件 B₁, B₂, ..., Bₙ 构成一个完整的划分(互斥且穷尽),那么:

P(A) = Σᵢ P(A|Bᵢ) · P(Bᵢ)

全概率公式是贝叶斯定理的分母——把所有可能原因下的概率加起来。

贝叶斯定理

P(A|B) = P(B|A) · P(A) / P(B)
类比:医生诊断

你做了个检查,结果阳性。
P(患病|阳性) = P(阳性|患病) × P(患病) / P(阳性)

即使检测准确率很高(P(阳性|患病) = 99%),如果疾病本身很罕见(P(患病) = 0.1%),
那么阳性结果实际患病的概率可能只有 10%!
这就是贝叶斯推理:结合先验知识(疾病罕见)和证据(检测结果)。

常见的概率分布

分布概率密度函数AI 中的应用
均匀分布f(x) = 1/(b-a),a ≤ x ≤ b随机初始化、数据增强
正态分布f(x) = (1/(σ√2π)) · exp(-(x-μ)²/(2σ²))权重初始化、噪声模型、中心极限定理
伯努利分布P(X=1) = p,P(X=0) = 1-p二分类、Dropout
多项分布P(X=x) = n!/(x₁!...xₖ!)·p₁^x₁...pₖ^xₖ多分类、Softmax 输出
指数分布f(x) = λe^(-λx),x ≥ 0泊松过程、等待时间
正态分布为什么这么重要
  • 中心极限定理——大量独立随机变量的和趋向正态分布
  • 最大熵原理——在已知均值和方差的情况下,正态分布是"最随机"的分布
  • 权重初始化——Xavier 和 He 初始化都基于正态分布
  • 噪声模型——高斯噪声是很多物理过程的自然模型

蒙特卡洛积分(简介)

很多积分在 AI 中无法解析求解(没有闭式解)。这时用蒙特卡洛方法——用随机采样来近似:

∫f(x)p(x)dx ≈ (1/N) Σᵢ f(xᵢ),其中 xᵢ 从 p(x) 中采样

这就是为什么深度学习中到处都在"采样"——生成模型(GAN、VAE、扩散模型)都依赖蒙特卡洛方法来近似积分。

贝叶斯与 AI

极大似然估计(MLE) 给定数据 D,找参数 θ 使 P(D|θ) 最大。
等价于最大化对数似然:log P(D|θ) = Σ log P(xᵢ|θ)
对 θ 求导令其为零,解出最优参数。
这就是为什么机器学习中经常取对数——把乘法变加法,求导更简单。
📖 本章小结
  • 概率密度函数的积分 = 概率,期望 = ∫x·f(x)dx
  • 条件概率:P(A|B) = P(A∩B)/P(B);全概率公式:P(A) = ΣP(A|Bᵢ)P(Bᵢ)
  • 贝叶斯定理:P(A|B) = P(B|A)·P(A)/P(B),结合先验和证据
  • MLE:最大化似然函数;MAP:最大化后验 = 似然 × 先验
  • L2 正则化 ↔ 高斯先验的 MAP,L1 正则化 ↔ 拉普拉斯先验的 MAP
  • 蒙特卡洛积分:用随机采样近似无法解析求解的积分
  • 正态分布无处不在:中心极限定理、权重初始化、噪声模型
💡 思考题
  1. 如果疾病的先验概率 P(病) = 0.1%,检测准确率 P(阳性|病) = 99%,P(阳性|健康) = 1%,求 P(病|阳性)。(贝叶斯悖论)
  2. 为什么取对数后求导更简单?log(p₁·p₂·p₃) = ?
  3. 为什么说"L2 正则化相当于高斯先验的 MAP"?(提示:高斯先验 P(w) ∝ exp(-||w||²/2σ²))

23. 信息论:熵、交叉熵与 KL 散度

信息论是理解损失函数设计的钥匙。为什么分类任务用交叉熵而不是均方误差?答案在信息论里。

与上一章的联系 在第 22 章我们学了概率密度函数 f(x) 和期望 E[X] = ∫x·f(x)dx。
信息论的核心公式 I(x) = -log P(x) 中的 P(x) 就是概率——信息论建立在概率论之上。
本章的每个概念(熵、交叉熵、KL 散度)都是概率的某种"期望"。

信息量

一个事件的信息量与其概率成反比:

I(x) = -log P(x)
对数的底数 信息论中通常用 log₂(单位:bit),机器学习中通常用 ln(自然对数,单位:nat)。
换底公式:log₂(x) = ln(x)/ln(2)。不同底数只差一个常数倍,不影响优化结果。

概率越小的事件,发生时带来的信息量越大。"太阳从东边升起"信息量 ≈ 0,"明天会下陨石"信息量很大。

熵(Entropy)

熵是信息量的期望——平均信息量:

H(X) = -Σ P(x) log P(x)
类比:惊喜程度

熵衡量的是"平均有多惊喜"。
熵高 = 很难预测 = 不确定性大 = 骰子(6 面均匀)
熵低 = 很容易预测 = 不确定性小 = 硬币(正面概率 99.9%)

交叉熵(Cross-Entropy)

交叉熵衡量的是:用分布 Q 来编码真实分布 P 时,平均需要多少信息:

H(P, Q) = -Σ P(x) log Q(x)
交叉熵 = 分类损失函数 P 是真实标签(one-hot),Q 是模型的预测概率。
最小化交叉熵 = 让模型的预测尽可能接近真实标签。
这就是为什么分类任务用交叉熵损失!

KL 散度

KL 散度衡量两个分布之间的"距离":

D_KL(P || Q) = Σ P(x) log[P(x)/Q(x)] = H(P, Q) - H(P)

KL 散度 ≥ 0,当且仅当 P = Q 时等于 0。

KL 散度的非对称性 D_KL(P||Q) ≠ D_KL(Q||P)——KL 散度不是"距离",因为它不对称。

前向 KL D_KL(P||Q):当 P > 0 而 Q ≈ 0 时惩罚很重 → 倾向于"覆盖"所有 P 的模式(mode-covering)
反向 KL D_KL(Q||P):当 Q > 0 而 P ≈ 0 时惩罚很重 → 倾向于"聚焦"P 的某个模式(mode-seeking)

变分推断中用反向 KL,因为它更容易优化。

JS 散度

JS 散度(Jensen-Shannon Divergence)是 KL 散度的对称版本:

JS(P||Q) = ½ D_KL(P||M) + ½ D_KL(Q||M),其中 M = (P+Q)/2

JS 散度对称且有界(0 ≤ JS ≤ ln2)。原始 GAN 的损失函数就基于 JS 散度。

KL 散度在 AI 中的应用
  • 变分自编码器(VAE)——损失函数包含 KL 散度项
  • 知识蒸馏——让小模型的输出分布接近大模型的分布
  • 强化学习——PPO 算法用 KL 散度约束策略更新幅度
  • 模型校准——让预测概率更准确

困惑度(Perplexity)

语言模型的核心评估指标——困惑度,直接来自交叉熵:

Perplexity = 2^H(P, Q) = 2^(-Σ P(x) log₂ Q(x))

困惑度越低,模型越好。直觉:困惑度 = 模型在每个位置"平均有多少个等可能的选择"。困惑度 = 10 意味着模型在每个位置平均有 10 个候选词。

互信息(Mutual Information)

互信息衡量两个随机变量之间的相关性:

I(X; Y) = H(X) + H(Y) - H(X, Y) = D_KL(P(X,Y) || P(X)P(Y))
类比:知道一个能猜对多少

如果你知道今天是否下雨(X),你能多准确地猜今天是否带伞(Y)?
互信息高:知道 X 对猜 Y 很有帮助(下雨和带伞高度相关)
互信息低:知道 X 对猜 Y 没什么帮助(两者几乎独立)

互信息在 AI 中的应用
  • 特征选择——选择与目标变量互信息最高的特征
  • 表示学习——最大化输入和表示之间的互信息(InfoNCE 损失)
  • 自监督学习——对比学习的核心就是最大化正样本对的互信息
  • 神经网络剪枝——用互信息判断哪些神经元是重要的

信息论概念总结

信息量
-log P(x)——单个事件的"惊喜程度"
熵
H(X) = E[-log P(X)]——平均信息量,不确定性
交叉熵
H(P, Q) = E_P[-log Q]——用 Q 编码 P 需要的平均信息
KL 散度
D_KL(P||Q) = H(P,Q) - H(P)——两个分布的"距离"
互信息
I(X;Y) = H(X) + H(Y) - H(X,Y)——两个变量的相关性
📖 本章小结
  • 信息量:-log P(x),概率越小信息量越大
  • 熵:H(X) = E[-log P],平均信息量 = 不确定性
  • 交叉熵:H(P,Q) = E_P[-log Q],分类损失函数
  • KL 散度:D_KL(P||Q) = H(P,Q) - H(P),两个分布的"距离"(不对称)
  • JS 散度:KL 的对称版本,原始 GAN 的损失基础
  • 互信息:I(X;Y) = H(X) + H(Y) - H(X,Y),变量间的相关性
  • 困惑度:2^交叉熵,语言模型的核心评估指标
💡 思考题
  1. 均匀硬币(P(正)=0.5)和偏斜硬币(P(正)=0.99)的熵分别是多少?哪个更"不确定"?
  2. KL 散度为什么不对称?D_KL(P||Q) 和 D_KL(Q||P) 分别在什么情况下更大?
  3. 如果一个语言模型的困惑度是 100,这意味着什么?怎么降低困惑度?

24. 微积分在 AI 中的全景图

恭喜你走到了最后一章!让我们把所有知识串起来,看看微积分在 AI 中的全景。

核心概念回顾

极限
无限接近——导数和积分的基础,收敛的数学定义
导数
变化率——梯度的前身,优化的基础
积分
累积量——概率计算、期望计算
梯度
多维导数——神经网络训练的核心
链式法则
复合函数求导——反向传播的数学基础

AI 中的微积分应用地图

AI 领域用到的微积分具体应用
深度学习梯度、链式法则、自动微分反向传播、优化算法
概率模型积分、贝叶斯定理概率推断、生成模型
损失函数信息论、导数交叉熵、KL 散度
优化凸优化、梯度下降SGD、Adam、牛顿法
正则化导数、几何L1/L2 正则化
计算机视觉卷积、梯度卷积神经网络
NLP矩阵求导、SoftmaxTransformer、注意力机制
强化学习梯度、积分策略梯度、值函数

学习路线图

第一阶段
基础概念——第 1-8 章。极限、导数、中值定理、极值。目标:理解"变化"的数学语言
第二阶段
核心工具——第 9-14 章。泰勒展开、微分、积分、微积分基本定理。目标:掌握"累积"和"逼近"
第三阶段
进阶理论——第 15-21 章。多元微积分、梯度下降、反向传播、自动微分。目标:理解 AI 的数学核心
第四阶段
AI 应用——第 22-24 章。概率、信息论、全景图。目标:把微积分和 AI 连接起来

学习建议

1
先建立直觉——理解每个概念的几何和物理意义,不要死记公式
2
结合代码实践——用 PyTorch 手写一个简单的神经网络,观察梯度是怎么计算的
3
按需深入——遇到不懂的数学再回头查,不需要一次性掌握所有细节
4
多画图——微积分的很多概念画成图就一目了然
微积分不是目的,是工具 你不需要成为微积分大师才能学 AI。
你需要的是:理解核心思想(变化、累积、优化),建立直觉(几何和物理意义),会用工具(PyTorch 的自动微分帮你算)。

本教程覆盖了 AI 学习者需要的所有微积分知识。
如果你理解了 80% 的内容,你已经有了足够的数学基础来深入学习 AI。

祝你学习愉快!

关键公式速查表

导数
(xⁿ)' = nxⁿ⁻¹  (eˣ)' = eˣ  (ln x)' = 1/x
链式法则
[f(g(x))]' = f'(g(x))·g'(x)  反向传播的基础
梯度下降
w ← w - η·∇L(w)  优化的核心公式
Softmax
P(i) = eˣⁱ / Σeˣʲ  分类输出层
交叉熵
H = -Σ yᵢ log ŷᵢ  分类损失函数

积分公式速查表

幂函数
∫xⁿ dx = xⁿ⁺¹/(n+1) + C  (n ≠ -1)
指数
∫eˣ dx = eˣ + C  ∫aˣ dx = aˣ/ln(a) + C
对数
∫1/x dx = ln|x| + C  ∫1/(a²+x²) dx = (1/a)arctan(x/a) + C
三角
∫cos x dx = sin x + C  ∫sin x dx = -cos x + C  ∫sec²x dx = tan x + C

常用数学符号表

符号读法含义
∂偏微分(partial)∂f/∂x:只让 x 变化时的导数
∇nabla / 梯度∇f = (∂f/∂x₁, ..., ∂f/∂xₙ)
Σ求和(sigma)Σᵢ aᵢ = a₁ + a₂ + ... + aₙ
Π求积(pi)Πᵢ aᵢ = a₁ · a₂ · ... · aₙ
∫积分∫f(x)dx:求原函数或面积
lim极限(limit)lim(x→a) f(x):x 趋近 a 时的值
∈属于x ∈ ℝ:x 是实数
∀对于所有(for all)∀x > 0:对所有正数 x
∃存在(there exists)∃c ∈ (a,b):存在 c 在 (a,b) 内
⟹蕴含(implies)A ⟹ B:A 成立则 B 成立

推荐学习资源

资源类型适合人群
3Blue1Brown《微积分的本质》视频(免费)想建立直觉的初学者
Khan Academy 微积分交互课程(免费)零基础,需要大量练习
MIT 18.01 单变量微积分课程(免费)想系统学习的学生
MIT 18.02 多元微积分课程(免费)学完 18.01 后继续
Mathematics for Machine Learning书籍(免费 PDF)想直接为 AI 学数学的人
《深度学习》第 4-5 章书籍想结合 AI 学数学的人
PyTorch 官方教程代码想动手实践的人
《动手学深度学习》(d2l.ai)书+代码(免费)数学和代码一起学

AI 面试常考微积分知识点

高频面试题
  1. 反向传播的数学原理——用链式法则推导两层网络的梯度
  2. 梯度消失/爆炸的原因和解决方案——Sigmoid 导数、残差连接、初始化
  3. Adam 优化器的原理——一阶矩、二阶矩、偏差修正
  4. Softmax + 交叉熵的梯度推导——结果是 预测 - 真实
  5. 凸函数和非凸函数的区别——局部最优 vs 全局最优
  6. KL 散度和交叉熵的关系——H(P,Q) = H(P) + D_KL(P||Q)
  7. 为什么用交叉熵而不是 MSE 做分类损失——梯度更好、概率解释

常见误区

学习微积分的常见误区
  • 只背公式不理解——公式会忘,但直觉不会。理解"为什么"比记住"是什么"更重要
  • 追求手算能力——AI 中的积分和求导都由计算机完成。你需要理解概念,不需要成为计算高手
  • 跳过基础——极限、连续性这些基础概念看似简单,但它们是理解导数和积分的前提
  • 忽视几何意义——每个微积分概念都有几何解释,画图能帮你建立直觉
  • 不联系实际——微积分不是抽象的数学游戏,它有明确的物理和工程意义
📖 全书总结
  • 基础篇(1-8章):极限 → 连续 → 导数 → 中值定理 → 极值。建立"变化"的数学语言
  • 核心篇(9-14章):泰勒展开 → 微分 → 积分 → 基本定理。掌握"逼近"和"累积"
  • 进阶篇(15-21章):多元微积分 → 凸优化 → 梯度下降 → 反向传播 → 自动微分。理解 AI 的数学核心
  • 应用篇(22-24章):概率论 → 信息论 → 全景图。把微积分和 AI 完整连接
💡 综合思考题
  1. 从导数到反向传播:用一句话描述导数(ch5)→ 链式法则(ch6)→ 梯度(ch15)→ 反向传播(ch18)这条线索。它们是怎么一步步连接起来的?
  2. 损失函数的设计:为什么分类用交叉熵(ch23)而不是 MSE?从梯度的角度(ch20)和信息论的角度(ch23)分别解释。
  3. 优化的全景:从凸函数(ch16)到梯度下降(ch17)到 Adam(ch17)到数值稳定性(ch21),描述一个神经网络从初始化到收敛的完整数学过程。
最后一句话 微积分是人类最伟大的智力成就之一。它让我们能够精确地描述变化、计算累积效应、优化复杂系统。

对于 AI 学习者来说,微积分不是障碍,而是解锁深度学习的钥匙。掌握了微积分,你才能真正理解:
  • 神经网络是怎么学习的
  • 损失函数为什么长那样
  • 优化算法为什么有效
  • 概率模型的数学基础是什么
本教程为你铺好了这条路。剩下的,就是你的实践和探索。

加油!

微积分的本质:用极限研究变化,用积分研究累积,用梯度指导优化。

面向 AI 学习者的数学指南 · 2026
仅供学习与参考