从零开始,用通俗的语言带你理解强化学习的核心概念、经典算法和前沿应用
强化学习(Reinforcement Learning, RL)是机器学习的三大范式之一,核心思想非常直觉:一个智能体(Agent)通过与环境的交互,不断试错,从奖励信号中学习最优行为策略。
和监督学习不同,强化学习没有"标准答案"告诉智能体每一步该怎么做。它只知道做了某个动作之后,环境给了它一个"奖励"或"惩罚"——就像训练一只小狗:坐下给零食,乱咬东西就训斥,小狗慢慢就学会了什么该做、什么不该做。
想象你第一次玩一个从未见过的游戏。没有人告诉你规则,你只能不断尝试——按这个键看看会发生什么,按那个键看看会怎样。如果屏幕上出现"+10 分",你就知道刚才的操作是好的;如果角色死了,你就知道那个操作是坏的。经过无数次尝试,你慢慢摸清了游戏的套路,成为高手。这就是强化学习的过程。
强化学习的独特之处在于:决策是序贯的——当前的行动会影响未来的状态和奖励。你不仅要考虑"这一步能得到多少奖励",还要考虑"这一步对我未来的影响"。这就是为什么强化学习需要"延迟奖励"的概念——有些好的决策,短期内看不到收益,但长期来看是最优的。
| 监督学习 | 无监督学习 | 强化学习 | |
|---|---|---|---|
| 数据 | 带标签的数据对 (x, y) | 无标签的数据 | 状态-动作-奖励序列 |
| 反馈 | 每个样本都有正确答案 | 没有反馈 | 延迟的奖励信号 |
| 目标 | 学习输入到输出的映射 | 发现数据的结构 | 最大化长期累积奖励 |
| 数据生成 | 数据是预先收集好的 | 数据是预先收集好的 | 数据通过交互产生 |
| 典型应用 | 图像分类、文本翻译 | 聚类、降维 | 游戏 AI、机器人控制 |
| 决策特点 | 每条数据独立 | 每条数据独立 | 决策相互关联,有先后顺序 |
让我们用一个走迷宫的例子来直观理解强化学习的工作原理:
| 领域 | 应用 | 用到的关键技术 |
|---|---|---|
| 游戏 AI | 围棋(AlphaGo)、星际争霸(AlphaStar)、Dota 2(OpenAI Five)、Atari 游戏 | DQN、PPO、蒙特卡洛树搜索、自我博弈 |
| 大语言模型对齐 | ChatGPT、Claude 的 RLHF 训练 | PPO、奖励模型、DPO |
| 机器人控制 | 机械臂抓取、双足行走、无人机飞行 | SAC、PPO、Sim-to-Real 迁移 |
| 自动驾驶 | 路径规划、决策制定、交通调度 | 深度 RL、模仿学习 |
| 推荐系统 | 新闻推荐、广告投放、内容排序 | 上下文老虎机、离线 RL |
| 资源调度 | 数据中心冷却、网络流量调度、芯片设计 | 深度 RL、模型预测控制 |
| 科学研究 | 蛋白质结构预测、分子设计、核聚变控制 | AlphaFold、深度 RL |
| 金融交易 | 量化交易策略、投资组合管理 | 深度 RL、离线 RL |
强化学习有一套独特的核心概念。理解了这些概念,你就掌握了强化学习的"骨架"。让我们逐个拆解。
强化学习中有两个最基本的"角色":
智能体和环境之间的交互是一个循环过程:
智能体 = 你(玩游戏的人)
环境 = 游戏本身(包含地图、敌人、规则)
你看到屏幕画面(状态),按下按键(动作),游戏给你反馈——角色移动、得分变化或角色死亡(新状态 + 奖励)。
状态是对环境当前情况的描述。智能体根据状态来决定下一步该怎么做。
智能体在每个状态下可以执行的操作。动作空间分为两种:
离散动作空间的算法(如 DQN)和连续动作空间的算法(如 PPO、SAC)通常不同,选择算法时需要注意这一点。
环境给智能体的即时反馈信号,是一个标量数值。奖励是强化学习的核心——智能体的目标就是最大化长期累积奖励。
奖励设计是强化学习中最需要技巧的环节。
好的奖励:下棋赢了 +1,输了 -1。简单明了,不会出错。
有风险的奖励:每走一步 +0.01(鼓励尽快结束),可能导致智能体学会"快速投降"来结束游戏。
稀疏的奖励:只有通关才有奖励,中间没有任何反馈——智能体可能永远学不到通关的方法。
策略是智能体的"行为准则"——从状态到动作的映射。它告诉智能体"在某个状态下应该做什么"。
策略就像你的"性格":
确定性策略 = 你是一个很果断的人,遇到这种情况永远选 A。
随机性策略 = 你有时候选 A(70%),有时候选 B(30%),带有随机性。
在大多数情况下,随机性策略更好——因为它不会卡在固定模式中,能发现更好的选择。
强化学习的目标就是找到最优策略 π*——在每个状态下选择能让长期累积奖励最大的动作。
价值函数衡量一个状态(或状态-动作对)有多"好"——从这个状态出发,按照某个策略走下去,未来能获得多少累积奖励的期望值。
从状态 s 出发,按照策略 π 行动,未来能获得的期望累积奖励。
Vπ(s) = Eπ[Rt+1 + γRt+2 + γ²Rt+3 + ... | St = s]
通俗地说:V(s) 回答了"从这个位置开始,我平均能拿多少分?"
在状态 s 下执行动作 a,之后按照策略 π 行动,未来能获得的期望累积奖励。
Qπ(s, a) = Eπ[Rt+1 + γRt+2 + γ²Rt+3 + ... | St = s, At = a]
通俗地说:Q(s, a) 回答了"从这个位置出发,先走这一步,之后按最优策略来,我平均能拿多少分?"
V(s) = GPS 告诉你"从你现在的位置出发,到达目的地平均需要 30 分钟"。
Q(s, a) = GPS 告诉你"从你现在的位置出发,先走这条路,到达目的地平均需要 25 分钟;先走那条路,平均需要 35 分钟"。
有了 Q 值,智能体就能比较每个动作的好坏,选择最优的那个。
V(s) = Σ π(a|s) · Q(s, a)这是强化学习中最核心的矛盾之一:
你搬到一个新城市:
纯利用:第一次吃了一家还不错的餐厅,之后永远去那家——可能错过了街角更好吃的店。
纯探索:每天都尝试新餐厅——可能踩很多雷,浪费很多钱。
好的策略:前几天多试试新餐厅(探索),找到几家好店后,大部分时间去最喜欢的那几家(利用),偶尔还是尝试一下没去过的新店。
| 策略 | 做法 | 优缺点 |
|---|---|---|
| ε-贪心(ε-greedy) | 以概率 ε 随机探索,以概率 1-ε 选最优动作 | 简单有效,最常用。ε 通常从 1.0 逐渐衰减到 0.01 |
| Boltzmann 探索 | 按 Q 值的 softmax 概率选择动作 | Q 值高的动作被选中的概率更大,但不是确定性的 |
| UCB(上置信界) | 选 Q 值 + 探索奖励 最大的动作 | 有理论保证,探索不足的动作会获得额外的探索奖励 |
| 好奇心驱动 | 给智能体一个"内在奖励"——预测误差大的状态获得额外奖励 | 适合稀疏奖励环境,但可能被"新奇"但无用的状态吸引 |
| 噪声网络 NoisyNet | 在网络权重中加入可学习的噪声 | 探索由网络自动学习,比固定 ε 更智能 |
| 熵正则化 | 在目标函数中加入策略的熵,鼓励多样性 | SAC 使用此方法,自动调节探索程度 |
折扣因子 γ ∈ [0, 1] 决定了智能体有多"在乎未来"。
γ 就像你对"未来回报"的信任程度:
γ = 0 = "先把今天的钱赚到手再说,明天的事明天再说"。
γ = 0.99 = "今天少赚点没关系,只要长期来看是赚的就行"。
γ = 0.5 = "明天的钱只值今天的一半,后天的钱只值四分之一"。
折扣因子也解决了数学上的收敛问题——即使任务无限长,折扣后的累积奖励也是有限的。
强化学习问题通常被形式化为一个马尔可夫决策过程(Markov Decision Process, MDP)。MDP 是强化学习的数学框架。
一个 MDP 由五元组 (S, A, P, R, γ) 定义:
MDP 的核心假设:未来只取决于当前状态,和过去无关。
P(St+1 | St, At) = P(St+1 | S1, A1, S2, A2, ..., St, At)
就像下棋:你只需要看当前的棋盘局面来决定下一步怎么走,不需要知道之前的棋局是怎么走到这一步的。
当然,现实中的很多问题不完全满足马尔可夫性质——比如股票价格不仅取决于今天,还受历史趋势影响。这时候我们可以用"历史窗口"或"循环神经网络"来近似地恢复马尔可夫性质。
从时间步 t 开始的累积折扣奖励:
Gt = Rt+1 + γRt+2 + γ²Rt+3 + ... = Σk=0∞ γk Rt+k+1
回报是价值函数的基础——V(s) 就是回报的期望值。
A(s, a) = Q(s, a) - V(s)
优势函数衡量"在状态 s 下选动作 a,比平均水平好多少"。
优势函数在策略梯度方法中非常重要——它替代了原始回报 Gt,大幅降低了方差。
别被"数学"吓到!这一章的公式虽然看起来多,但每个公式背后都有非常直觉的含义。你只需要理解"为什么这么算",不需要手推证明。
贝尔曼方程是强化学习最核心的数学工具。它建立了一个状态的价值和它的"后继状态"的价值之间的关系——递归思想。
一个状态的价值 = 即时奖励 + 折扣后的后继状态价值的期望:
Vπ(s) = Σa π(a|s) · Σs' P(s'|s,a) · [R(s,a,s') + γ · Vπ(s')]
拆解一下这个公式:
Σa π(a|s):考虑所有可能的动作,按策略的概率加权Σs' P(s'|s,a):考虑所有可能的下一个状态,按转移概率加权R(s,a,s'):即时奖励——这一步能得到多少分γ · Vπ(s'):折扣后的未来价值——从下一个状态开始,还能拿多少分贝尔曼方程说的是:"一个状态的价值 = 马上能得到的奖励 + 之后能得到的奖励"。
比如你站在十字路口。向左走能马上得 5 分,之后的状态价值是 10 分;向右走能马上得 3 分,之后的状态价值是 20 分。如果你的策略是向左走,那当前路口的价值 = 5 + 0.9×10 = 14。如果你的策略是向右走,价值 = 3 + 0.9×20 = 21。
贝尔曼方程把"评估一个状态"这个大问题,拆成了"看一步 + 评估下一步"这个小问题——递归的思想。
类似地,Q 函数也有贝尔曼方程:
Qπ(s, a) = Σs' P(s'|s,a) · [R(s,a,s') + γ · Σa' π(a'|s') · Qπ(s', a')]
直觉:在状态 s 做动作 a 的价值 = 马上得到的奖励 + 之后按策略行动的价值。
如果我们想找最优策略(价值最大的策略),就需要最优贝尔曼方程:
V*(s) = maxa Σs' P(s'|s,a) · [R(s,a,s') + γ · V*(s')]
区别在于把 Σa π(a|s) 换成了 maxa —— 不再按策略加权,而是选最好的动作。
Q*(s, a) = Σs' P(s'|s,a) · [R(s,a,s') + γ · maxa' Q*(s', a')]
一旦我们知道了 Q*,最优策略就很简单了:在每个状态下选 Q 值最大的动作。
π*(s) = argmaxa Q*(s, a)
如果我们完全知道环境的转移概率 P 和奖励函数 R(即"模型已知"),就可以用动态规划直接求解最优策略。这是最理想的情况,但现实中很少见。
给定一个策略 π,计算它的状态价值 Vπ。方法是反复应用贝尔曼方程,直到收敛:
交替进行"评估策略"和"改进策略",直到策略不再变化:
更高效的方法:直接用最优贝尔曼方程迭代,不需要等策略评估完全收敛:
V(s) ← maxa Σs' P(s'|s,a) · [R + γ·V(s')]
每一步都同时"评估"和"改进",比策略迭代更快。
蒙特卡洛方法的核心思想:通过大量采样来估计价值。不需要知道环境的转移概率,只需要"玩"很多次,记录每次的回报,取平均值。
你想知道一个路口堵车的概率。你不需要知道交通流量模型,只需要每天在那个路口观察——观察 1000 天后,堵车的天数/1000 就是堵车概率的估计。观察越多,估计越准。
| 优点 | 缺点 |
|---|---|
| 不需要知道环境模型(P 和 R) | 必须等一局结束才能更新(不能在线学习) |
| 无偏估计,渐近收敛 | 方差大——同一状态的回报可能差异很大 |
| 适用于 episodic 任务(有结束的任务) | 不适用于持续性任务(没有结束的任务) |
| 可以从历史数据中学习 | 需要大量采样才能准确 |
TD 学习是强化学习中最重要的方法之一。它结合了蒙特卡洛(不需要环境模型)和动态规划(不需要等任务结束)的优点。
TD 学习用当前估计来更新之前的估计——"自举"(bootstrapping)。
更新公式:
V(St) ← V(St) + α · [Rt+1 + γ · V(St+1) - V(St)]
拆解:
Rt+1 + γ · V(St+1):TD 目标——"一步之后的估计值"Rt+1 + γ · V(St+1) - V(St):TD 误差——"实际走了一步后的发现"和"之前的预期"之间的差距α:学习率——每次更新的步长你预测今天最高温度 30°C。到了中午实际是 28°C,你发现预测偏高了 2°C。于是你把明天的预测也稍微下调一点——用今天的误差来修正明天的预测。
你不需要等到明天过完才知道今天预测得准不准——中午就能用实际温度更新估计。这就是 TD "自举"的思想。
假设你在走一个 1D 格子世界,γ=0.9,α=0.1:
初始 V 值:V(1)=0, V(2)=0, V(3)=0, V(4)=0, V(5)=0(终点)
第 1 步:在状态 2,向右走,得到奖励 R=-1,到达状态 3
TD 目标 = R + γ·V(3) = -1 + 0.9×0 = -1
TD 误差 = -1 - V(2) = -1 - 0 = -1
V(2) ← 0 + 0.1×(-1) = -0.1
第 2 步:在状态 3,向右走,得到奖励 R=-1,到达状态 4
TD 目标 = -1 + 0.9×0 = -1
V(3) ← 0 + 0.1×(-1) = -0.1
第 3 步:在状态 4,向右走,得到奖励 R=+10,到达状态 5(终点)
TD 目标 = 10 + 0.9×0 = 10
V(4) ← 0 + 0.1×10 = 1.0
经过更多回合后,V 值会逐渐"倒灌":
V(4) ≈ 1.0(直接拿奖励)
V(3) ≈ 0.9×1.0 - 1 = -0.1(走一步到 4 再拿奖励)
V(2) ≈ 0.9×(-0.1) - 1 = -1.09(更远,每步扣 1 分)
| 蒙特卡洛(MC) | 时序差分(TD) | |
|---|---|---|
| 更新时机 | 等一局结束后才更新 | 每一步都可以更新 |
| 目标值 | 真实的累积回报 Gt | R + γV(S')(估计值) |
| 偏差/方差 | 无偏,高方差 | 有偏(因为自举),低方差 |
| 适用任务 | episodic(有结束) | episodic + continuing(都行) |
| 在线学习 | 不行 | 可以 |
TD(0) 只看一步,MC 等到结束。N-step TD 是两者的折中——看 N 步再更新。
N-step 回报:Gt(n) = Rt+1 + γRt+2 + ... + γn-1Rt+n + γnV(St+n)
TD(λ) 更进一步——同时考虑所有 N 步的回报,用 λn-1 作为权重:
Gtλ = (1-λ) Σn=1∞ λn-1 Gt(n)
有了前面的数学基础,我们来看具体的算法。这些是强化学习的"经典武器",虽然现在有了深度版本,但理解它们是理解深度强化学习的前提。
离线策略 基础
Q-Learning 是强化学习最经典的算法,由 Watkins 在 1989 年提出。它直接学习最优动作价值函数 Q*,不需要知道环境模型。
Q(St, At) ← Q(St, At) + α · [Rt+1 + γ · maxa Q(St+1, a) - Q(St, At)]
拆解:
Rt+1 + γ · maxa Q(St+1, a):TD 目标——用下一个状态的最大 Q 值来估计未来回报maxa Q(St+1, a):关键!直接取下一个状态的最大 Q 值——这就是"贪心"地追求最优α:学习率,控制更新幅度初始化 Q(s, a) = 0, 对所有 s, a
设定超参数:学习率 α, 折扣因子 γ, 探索率 ε
for episode = 1 to N:
初始化起始状态 S
for each step of episode:
用 ε-贪心选动作 A:
以概率 ε 随机选动作
否则 A = argmax_a Q(S, a)
执行动作 A,观察奖励 R 和新状态 S'
更新:Q(S, A) ← Q(S, A) + α·[R + γ·max_a Q(S', a) - Q(S, A)]
S ← S'
until S 是终止状态
一个 3×3 格子世界,起点左上角(0,0),终点右下角(2,2),奖励:到达终点 +10,每步 -1。动作:上、下、左、右。γ=0.9,α=0.5,ε=0.3。
初始 Q 表(全 0):
上 下 左 右
(0,0) 0 0 0 0
(0,1) 0 0 0 0
(1,1) 0 0 0 0
...
--- Episode 1 ---
状态 (0,0),ε-贪心选了"右" → 到达 (0,1),奖励 R=-1
Q((0,0), 右) ← 0 + 0.5×[-1 + 0.9×max(0,0,0,0) - 0]
= 0 + 0.5×(-1) = -0.5
状态 (0,1),选了"下" → 到达 (1,1),奖励 R=-1
Q((0,1), 下) ← 0 + 0.5×[-1 + 0.9×0 - 0] = -0.5
状态 (1,1),选了"右" → 到达 (1,2),奖励 R=-1
Q((1,1), 右) ← 0 + 0.5×[-1 + 0.9×0 - 0] = -0.5
状态 (1,2),选了"下" → 到达 (2,2),奖励 R=+10(终点!)
Q((1,2), 下) ← 0 + 0.5×[10 + 0.9×0 - 0] = 5.0
--- Episode 2 ---
回到起点 (0,0),选了"右" → (0,1)
Q((0,0), 右) ← -0.5 + 0.5×[-1 + 0.9×max(Q((0,1))) - (-0.5)]
max Q((0,1)) = max(0, -0.5, 0, 0) = 0
= -0.5 + 0.5×[-1 + 0 - (-0.5)] = -0.5 + 0.5×(-0.5) = -0.75
... 经过几百个 episode 后 ...
Q((1,2), 下) ≈ 9.0 ← 走向终点的 Q 值很高
Q((1,1), 右) ≈ 7.2 ← 先到(1,2)再到终点
Q((0,0), 右) ≈ 5.5 ← 最优路径:右→右→下→下
max Q——即假设下一步会选最优动作。但实际上智能体可能因为 ε-贪心而选了非最优动作。这意味着学习的策略(贪心)和行动的策略(ε-贪心)不同——这就是"离线策略"。好处是可以从别人的经验中学习。
在线策略 基础
SARSA 的名字来源于它的更新需要的五个元素:S, A, R, S', A'——状态、动作、奖励、新状态、新动作。
Q(St, At) ← Q(St, At) + α · [Rt+1 + γ · Q(St+1, At+1) - Q(St, At)]
和 Q-Learning 的唯一区别:maxa Q(St+1, a) 换成了 Q(St+1, At+1)。
初始化 Q(s, a) = 0
for episode = 1 to N:
初始化 S, 用 ε-贪心选 A
for each step of episode:
执行 A,观察 R, S'
用 ε-贪心选 A'(基于 S')
更新:Q(S, A) ← Q(S, A) + α·[R + γ·Q(S', A') - Q(S, A)]
S ← S', A ← A'
until S 是终止状态
| Q-Learning | SARSA | |
|---|---|---|
| 策略类型 | 离线策略(Off-Policy) | 在线策略(On-Policy) |
| 更新目标 | max Q(S', a) —— 最优值 | Q(S', A') —— 实际值 |
| 学习风格 | 大胆,追求最优 | 保守,考虑探索的代价 |
| 收敛性 | 收敛到最优 Q* | 收敛到当前策略下的 Qπ |
| 安全性 | 可能学到危险的策略 | 更安全,会避开有风险的状态 |
| 需要的元素 | S, A, R, S'(四元组) | S, A, R, S', A'(五元组) |
在"悬崖行走"环境中,旁边有一条悬崖,掉下去扣 100 分。
Q-Learning 会学到"贴着悬崖边走"——因为这是最短路径(最优策略)。但因为 ε-贪心的随机探索,智能体偶尔会掉下悬崖。
SARSA 会学到"远离悬崖走"——因为它的更新考虑了探索时掉下悬崖的风险。虽然路径更长,但更安全。
如果你在乎安全性,用 SARSA;如果只在乎最终性能,用 Q-Learning。
期望 SARSA 是 SARSA 的改进版。它用所有动作的 Q 值的加权平均(按策略概率)来替代 SARSA 中的单个采样动作:
Q(S,A) ← Q(S,A) + α · [R + γ · Σa π(a|S') · Q(S', a) - Q(S,A)]
Q-Learning 有一个严重问题:Q 值过高估计(Overestimation)。因为 max 操作会选到被高估的 Q 值,导致估计系统性偏高。
你扔了 10 次骰子,记录每次的点数。如果你只看最大的那次(比如 6),你会觉得骰子"平均值很高"——但其实平均值是 3.5。max 操作天然会偏向高估值。
Double Q-Learning 的解决方案:用两个独立的 Q 表 Q₁ 和 Q₂。
初始化 Q₁(s,a) = 0, Q₂(s,a) = 0
for each step:
用 ε-贪心(基于 Q₁ + Q₂)选动作 A
执行 A,观察 R, S'
随机选择更新 Q₁ 或 Q₂:
如果更新 Q₁:
A* = argmax_a Q₁(S', a)
Q₁(S,A) ← Q₁(S,A) + α·[R + γ·Q₂(S', A*) - Q₁(S,A)]
如果更新 Q₂:
A* = argmax_a Q₂(S', a)
Q₂(S,A) ← Q₂(S,A) + α·[R + γ·Q₁(S', A*) - Q₂(S,A)]
TD(0) 每次只看一步,MC 等到结束才更新。TD(λ) 是两者的"插值"——通过参数 λ ∈ [0, 1] 控制"看多远"。
资格迹(Eligibility Trace)是 TD(λ) 的高效实现方式。每个状态维护一个"资格值"——最近访问过的状态有更高的资格值,更新时按资格值加权。直觉:最近刚去过的状态,更应该为当前的 TD 误差"负责"。
面对这么多算法,初学者常常不知道该选哪个。这里给出一个实用的选择指南:
| 场景 | 推荐算法 | 原因 |
|---|---|---|
| 离散状态+离散动作,表格大小可接受 | Q-Learning | 简单、经典、效果好 |
| 需要安全性(如机器人) | SARSA | 在线策略,考虑探索风险 |
| Q 值过高估计严重 | Double Q-Learning | 消除过高估计 |
| 状态空间大(图像等) | DQN / PPO | 需要神经网络近似 |
| 连续动作空间 | PPO / SAC / DDPG | 支持连续动作输出 |
| 快速原型验证 | Stable-Baselines3 的 PPO | 调参简单,通用性强 |
| 机器人控制 | SAC / TD3 | 样本效率高,稳定性好 |
| NLP/LLM 对齐 | PPO (RLHF) | 行业标准,OpenAI 验证 |
前面的算法用表格存储 Q 值——每个"状态-动作"对占一格。但现实问题的状态空间太大了(围棋有 10¹⁷⁰ 种状态,图片有无穷多种像素组合),表格根本装不下。
深度强化学习(Deep Reinforcement Learning)用神经网络来近似 Q 函数或策略——用一个函数而不是表格来"压缩"所有的 Q 值。这就是深度学习 + 强化学习的结合。
里程碑
2013 年 DeepMind 提出的 DQN 是深度强化学习的开山之作。它用深度神经网络替代 Q 表来近似 Q 函数,成功在 Atari 游戏上达到甚至超越人类水平。
用一个神经网络 Q(s, a; θ) 来近似 Q*(s, a),其中 θ 是网络参数。
L(θ) = E[(R + γ · maxa' Q(s', a'; θ⁻) - Q(s, a; θ))²]
其中 θ⁻ 是目标网络的参数(后面会解释)。
初始化:
主网络 Q(s, a; θ),随机权重
目标网络 Q(s, a; θ⁻),θ⁻ ← θ
经验回放缓冲区 D,容量 N = 1,000,000
ε = 1.0(探索率)
for episode = 1 to M:
初始化起始状态 S(预处理:灰度化、缩放、堆叠 4 帧)
for each step:
用 ε-贪心选动作 A
执行 A,观察奖励 R 和新状态 S'
将 (S, A, R, S') 存入 D
从 D 中随机采样 mini-batch {(sⱼ, aⱼ, rⱼ, s'ⱼ)}
计算目标:yⱼ = rⱼ + γ·max_a Q(s'ⱼ, a; θ⁻) (终止状态时 yⱼ = rⱼ)
最小化损失:L = mean((yⱼ - Q(sⱼ, aⱼ; θ))²)
梯度下降更新 θ
每 C 步:θ⁻ ← θ(同步目标网络)
ε ← max(0.01, ε × 0.9995)(衰减探索率)
经验回放就像你的"学习笔记":你每天玩游戏,把每一步的操作和结果都记在笔记本里。学习的时候,你不是按顺序从第一页看到最后一页,而是随机翻到某一页复习——这样你不会只记得最近玩的几局,而是能复习到很久以前的经验。
DQN 发表后,研究者们提出了很多改进版本:
| 改进 | 核心思想 | 解决的问题 |
|---|---|---|
| Double DQN | 用主网络选动作,用目标网络评估 Q 值 | Q 值过高估计问题 |
| Dueling DQN | 把 Q(s,a) 拆成 V(s) + A(s,a)(状态价值 + 优势函数) | 不需要对每个动作都准确估计 Q 值 |
| Prioritized Experience Replay | TD 误差大的经验被更频繁地采样 | 随机采样效率低——有些经验比其他更有学习价值 |
| NoisyNet | 在权重中加入可学习的噪声,替代 ε-贪心探索 | 探索更智能——噪声根据任务自适应调整 |
| C51 / QR-DQN | 不只估计 Q 的均值,而是估计 Q 的整个概率分布 | 处理奖励的随机性,更准确的价值估计 |
| Rainbow | 把上面 6 种改进组合在一起 | 综合提升,是 DQN 的"集大成者" |
前面的方法(Q-Learning、DQN)都是基于价值的方法——先学 Q 值,再推导策略。策略梯度方法则直接优化策略——用神经网络参数化策略 π(a|s; θ),通过梯度上升来最大化期望回报。
∇θ J(θ) = Eπ[∇θ log π(At|St; θ) · Gt]
拆解:
J(θ):期望回报——策略的"好坏"∇θ log π(At|St; θ):策略对参数的梯度——"怎么调参数会让这个动作更可能被选中"Gt:从时间 t 开始的累积回报——"这一步最终带来了多少回报"直觉:如果一个动作带来了高回报(Gt 大),就增加选这个动作的概率;如果带来了低回报(甚至负回报),就降低它的概率。
就像训练一只小狗:
小狗坐下 → 给零食(高回报)→ 小狗学会"坐下"这个动作的概率增大。
小狗乱咬 → 训斥(低回报)→ 小狗学会"乱咬"的概率减小。
重复无数次后,小狗学会了正确的行为模式。
最简单的策略梯度算法。每局结束后,用实际回报 Gt 来更新策略:
一个简单但有效的技巧:用 Gt - b(减去一个基线 b)替代 Gt。通常 b = V(s)(状态价值函数的估计)。
∇θ J(θ) = E[∇log π(a|s; θ) · (Gt - V(s))]
减去基线不改变梯度的期望(数学上可以证明),但大幅降低了方差。Gt - V(s) 叫做优势函数 A(s, a)——衡量"这个动作比平均水平好多少"。
Actor-Critic 结合了基于价值和基于策略两种方法的优点:
就像一个演员和导演的关系:
Actor(演员):在舞台上表演,决定每个动作怎么做。
Critic(导演):在台下看表演,给演员反馈——"刚才那个动作不错,但下一个可以做得更好"。
演员根据导演的反馈不断改进表演。两者相互促进,越来越好。
用优势函数 A(s,a) = R + γV(s') - V(s) 替代 REINFORCE 中的 Gt,进一步降低方差。
最常用
PPO(Proximal Policy Optimization)是 OpenAI 在 2017 年提出的,是目前使用最广泛的深度强化学习算法。ChatGPT 的 RLHF 训练就用了 PPO。
策略梯度方法有一个致命问题:步长很难选。
PPO 用一个"剪切"机制来限制新策略和旧策略之间的差距:
LCLIP(θ) = E[min(rt(θ)·At, clip(rt(θ), 1-ε, 1+ε)·At)]
其中:
rt(θ) = πθ(a|s) / πθ_old(a|s):新旧策略的概率比At:优势函数(这个动作比平均好多少)clip(r, 1-ε, 1+ε):把概率比限制在 [1-ε, 1+ε] 范围内(ε 通常取 0.1~0.2)PPO 就像给策略更新装了一个"限速器":你只能在旧策略附近的小范围内调整,不能"跳太远"。就像开车——你可以换车道,但一次只能换一条,不能一下子跳到对面车道。这样既保证了学习的稳定性,又不会太保守。
for iteration = 1, 2, ...:
用当前策略 π_θ_old 采集 T 步数据 {(s_t, a_t, r_t, s_{t+1})}
计算优势估计 A_t(通常用 GAE)
for epoch = 1 to K: (通常 K=3~10,重复使用数据)
计算概率比 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)
计算 clip 目标:L = min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t)
梯度上升更新 θ(最大化 L)
θ_old ← θ
SAC(Soft Actor-Critic)是目前连续动作空间(如机器人控制)中表现最好的算法之一。核心创新:最大化奖励的同时最大化策略的熵。
SAC 的目标函数:
J(π) = Σt E[rt + α · H(π(·|st))]
其中 H(π) 是策略的熵——衡量策略的"随机性"或"多样性"。α 是温度参数,控制熵的重要性。
最大化熵 = 鼓励探索。如果你只最大化奖励,智能体可能学会一种很"死板"的策略——只走一条路,遇到新情况就傻了。加上熵的鼓励后,智能体会学到更"灵活"的策略——在同样好的多个动作中随机选择,而不是只固定选一个。
就像一个人:只会一种解法的学生遇到新题就不会了;掌握多种解法的学生更灵活。
DDPG 是第一个成功处理连续动作空间的深度 RL 算法。它结合了 DQN 和策略梯度的思想:
TD3 是 DDPG 的改进版,解决了 DDPG 的三个问题:
| DDPG | TD3 | |
|---|---|---|
| Critic 数量 | 1 个 | 2 个(取最小值) |
| 过高估计 | 有 | 缓解 |
| 更新频率 | Actor 和 Critic 同步更新 | Actor 延迟更新(每 2 次 Critic 更新才更新 1 次 Actor) |
| 目标策略平滑 | 无 | 有(目标动作加噪声) |
| 稳定性 | 一般 | 好 |
A3C(Asynchronous Advantage Actor-Critic)是 DeepMind 在 2016 年提出的并行训练方法。核心思想:多个 Worker 并行收集经验,异步更新共享的网络参数。
A3C 的优势:训练速度快(多核 CPU 并行),不需要 GPU 也能训练。但后来发现,不异步的版本 A2C(同步)效果一样好甚至更好,因为异步更新会引入噪声。
前面的方法都是无模型(Model-Free)的——直接从经验中学习策略或价值函数,不尝试理解环境的运作方式。
模型基础方法(Model-Based)则不同:先学习一个环境模型(预测下一个状态和奖励),再用这个模型来"想象"和规划。
无模型:你在一个陌生城市,不看地图,只靠"走错路→换方向"来摸索。需要走很多冤枉路。
模型基础:你先买一份地图(学习环境模型),然后在地图上规划路线,再实际走。需要走的冤枉路少得多,但如果地图不准确,规划的路线可能走不通。
RLHF(Reinforcement Learning from Human Feedback)是让大语言模型(如 ChatGPT、Claude)变得"有用、无害、诚实"的关键技术。它用人类的偏好作为奖励信号来微调模型。
| 算法 | 类型 | 动作空间 | 策略类型 | 特点 | 适用场景 |
|---|---|---|---|---|---|
| DQN | 基于价值 | 离散 | 离线策略 | 经验回放+目标网络 | Atari 游戏 |
| Double DQN | 基于价值 | 离散 | 离线策略 | 解决过高估计 | Atari 游戏 |
| PPO | 策略梯度 | 离散+连续 | 在线策略 | 剪切目标,简单稳定 | 通用,RLHF |
| SAC | Actor-Critic | 连续 | 离线策略 | 最大熵,自动温度调节 | 机器人控制 |
| DDPG | Actor-Critic | 连续 | 离线策略 | 确定性策略+噪声探索 | 连续控制(已被 TD3 取代) |
| TD3 | Actor-Critic | 连续 | 离线策略 | 双 Critic+延迟更新 | 连续控制,机器人 |
| A2C/A3C | Actor-Critic | 离散+连续 | 在线策略 | 并行训练 | 大规模并行环境 |
| REINFORCE | 策略梯度 | 离散+连续 | 在线策略 | 最简单,高方差 | 教学入门 |
现实世界中很多问题涉及多个决策者——多个机器人协作、多个玩家对弈、多个公司竞争。多智能体强化学习(Multi-Agent RL, MARL)研究的就是多个智能体在同一环境中学习和交互。
多智能体系统的核心挑战:每个智能体只能看到自己的观察,但需要和其他智能体协调。
QMIX 是 CTDE 框架下的代表算法,适用于完全合作场景。核心思想:每个智能体有自己的 Q 网络 Q_i(o_i, a_i),然后用一个"混合网络"把它们组合成全局 Q 值。
Q_total = f(Q_1, Q_2, ..., Q_n)
混合网络的设计保证:全局 Q 值对每个智能体的 Q 值是单调递增的(权重非负)。这样 argmax Q_total 就等于每个智能体各自 argmax Q_i——可以分散执行。
MADDPG 将 DDPG 扩展到多智能体场景。每个智能体有自己的 Actor 和 Critic:
适用于合作和竞争混合的场景。
智能体和自己的历史版本对弈——随着自身变强,对手也变强,持续获得挑战。AlphaGo、OpenAI Five 都使用了自我博弈。
初始化策略 π
保存历史策略池 {π}
for iteration:
从策略池中选一个对手 π_opponent
用 π 和 π_opponent 对弈,收集数据
用 PPO 更新 π
定期把 π 加入策略池
强化学习在游戏和模拟中取得了巨大成功,但在现实世界的应用仍然面临很多挑战。了解这些挑战有助于你选择研究方向和避免常见陷阱。
很多现实任务中,奖励非常稀疏——智能体可能走了几千步才得到一次奖励反馈。比如"在迷宫中找到出口"——只有到达出口才有奖励,中间没有任何反馈。
| 方法 | 核心思想 | 优缺点 |
|---|---|---|
| 课程学习 | 从简单任务开始,逐步增加难度 | 需要人工设计课程,但效果好 |
| 好奇心驱动 | 给智能体一个内在奖励——探索新奇的状态 | 自动探索,但可能被无关新奇吸引 |
| HER(事后经验回放) | 失败的经验也能学习——把实际到达的状态当作"目标" | 巧妙利用失败经验,适用于目标条件任务 |
| 奖励塑形 | 人工设计中间奖励来引导学习 | 有效但需要领域知识,设计不好会误导 |
| 分层强化学习 | 把任务拆成子任务,高层选目标,低层执行 | 自然分解复杂任务,但训练更复杂 |
HER(Hindsight Experience Replay)是一个巧妙的想法:即使智能体没有达到预定目标,它到达的状态也可以当作"新目标"来学习。
原始经验:(s, a, r=0, s', goal) ← 没达到 goal,r=0
HER 改写:(s, a, r=+1, s', s') ← 把实际到达的 s' 当作新 goal,r=+1
这样,"失败"的经验也变成了"成功"的经验!
强化学习通常需要大量数据。DQN 玩一个 Atari 游戏需要约 2 亿帧画面(相当于人类玩 38 天)。AlphaGo 自我对弈了数百万局。这在模拟环境中可以接受,但在真实世界中(比如机器人训练)代价太大。
在现实世界中部署强化学习时,安全至关重要——你不能让机器人在学习过程中伤害人或损坏设备。
强化学习训练的策略通常泛化能力差——在训练环境中表现很好,换一个稍微不同的环境就不行了。
有时候我们有专家的示范数据(比如人类操作员的轨迹),但很难设计奖励函数。模仿学习直接从专家示范中学习策略。
传统强化学习需要智能体和环境实时交互来收集数据。但在很多场景中,实时交互很危险(自动驾驶)或很贵(医疗决策)。离线强化学习只用预先收集的历史数据来学习策略,不需要任何实时交互。
奖励设计是强化学习中最关键也最困难的环节。好的奖励函数能加速学习,坏的奖励函数会导致完全错误的行为。
| 工具 | 用途 | 说明 |
|---|---|---|
Gymnasium (Gym) | 强化学习环境库 | OpenAI 维护,提供 Atari、CartPole、MountainCar 等标准环境。RL 入门必备 |
Stable-Baselines3 | RL 算法库 | PPO、SAC、DQN 等算法的高质量实现。几行代码就能跑一个 RL 实验 |
RLlib (Ray) | 分布式 RL | 支持大规模并行训练,适合复杂任务和多智能体 |
CleanRL | 单文件实现 | 每个算法一个文件,代码简洁清晰,适合学习算法实现细节 |
PyTorch | 深度学习框架 | 自定义网络结构和训练循环时使用 |
TensorFlow / Keras | 深度学习框架 | TF-Agents 提供 TF 生态的 RL 工具 |
MuJoCo | 物理仿真引擎 | 机器人控制的标准仿真环境(现已免费开源) |
PettingZoo | 多智能体环境 | 多智能体 RL 的标准环境库 |
Weights & Biases | 实验跟踪 | 记录训练曲线、超参数、模型版本 |
| 项目 | 环境 | 推荐算法 | 难度 | 说明 |
|---|---|---|---|---|
| CartPole | Gymnasium | DQN、PPO | 入门 | 平衡一根杆子,最经典的入门环境 |
| MountainCar | Gymnasium | Q-Learning、DQN | 入门 | 稀疏奖励,小车爬山 |
| FrozenLake | Gymnasium | Q-Learning、SARSA | 入门 | 冰面行走(有滑动),离散状态空间 |
| Atari 游戏 | Gymnasium | DQN、PPO | 中级 | 从像素学习玩游戏,经典 DeepMind 任务 |
| LunarLander | Gymnasium | PPO、SAC | 中级 | 控制飞船着陆,连续动作空间 |
| BipedalWalker | Gymnasium | PPO、SAC | 进阶 | 控制双足机器人行走 |
| MuJoCo 任务 | MuJoCo | SAC、TD3 | 进阶 | 机器人控制,如 Humanoid、HalfCheetah |
| 自定义游戏 | 自己定义 | 任意 | 挑战 | 用 Gymnasium 创建自己的环境,最能锻炼能力 |
| 类型 | 资源 | 说明 |
|---|---|---|
| 经典教材 | Sutton & Barto《Reinforcement Learning: An Introduction》 | 强化学习的"圣经",免费在线阅读。覆盖基础到进阶,数学严谨但通俗 |
| 入门课程 | David Silver 强化学习公开课(UCL/DeepMind) | 经典入门课程,10 讲覆盖核心内容,YouTube 可看 |
| 中文课程 | 李宏毅《深度强化学习》 | 讲解生动有趣,中文,适合快速入门 |
| 中文教材 | 《动手学强化学习》(张伟楠等) | 有代码有讲解,交互式,适合中文读者入门 |
| 进阶教材 | Szepesvári《Algorithms for Reinforcement Learning》 | 偏理论,适合深入理解算法 |
| 实战 | Spinning Up in Deep RL(OpenAI) | 从零到一的深度 RL 教程,有代码实现 |
| 视频 | 3Blue1Brown + Yannic Kilcher 的论文讲解 | 直觉建立 + 论文理解 |
| 社区 | r/reinforcementlearning、RL China | 最新研究讨论、问题解答 |
强化学习的调试比监督学习困难得多——因为奖励信号稀疏、训练不稳定、随机性大。以下是一套实用的调试流程:
# 检查环境是否正常
env = gym.make('CartPole-v1')
obs, info = env.reset()
for _ in range(100):
action = env.action_space.sample() # 随机动作
obs, reward, terminated, truncated, info = env.step(action)
print(f"obs={obs}, reward={reward}")
if terminated or truncated:
obs, info = env.reset()
# 检查:奖励是否合理?状态是否有意义?终止条件是否正确?
在实现复杂算法前,先用最简单的算法(如 Q-Learning 或随机策略)验证环境。如果简单算法完全学不到东西,可能是环境或奖励设计有问题。
| 指标 | 正常范围 | 异常表现 | 可能原因 |
|---|---|---|---|
| 平均奖励 | 逐渐上升 | 不增长或剧烈波动 | 学习率太大/太小、奖励设计问题 |
| episode 长度 | 根据任务变化 | 越来越短(过早结束) | 奖励黑客、终止条件问题 |
| Q 值大小 | 与实际回报接近 | 越来越大(发散) | 学习率太大、过高估计 |
| 策略熵 | 逐渐降低 | 突然降到 0 | 过早收敛到次优策略 |
| 梯度范数 | 稳定 | 爆炸或消失 | 需要梯度裁剪、学习率调整 |
| 问题 | 症状 | 解决方案 |
|---|---|---|
| 训练不收敛 | 奖励不增长 | 降低学习率、增大 batch size、检查奖励归一化 |
| 训练不稳定 | 奖励剧烈波动 | 多跑几次取平均、使用目标网络、降低更新频率 |
| 过拟合 | 训练好但测试差 | 增大经验池、使用正则化、域随机化 |
| 探索不足 | 卡在局部最优 | 增大 ε、延长探索期、使用好奇心驱动 |
| 奖励黑客 | 行为异常但奖励高 | 重新设计奖励、多观察行为、加约束 |
强化学习的本质就是:让智能体通过与环境的交互,从试错中学习最优策略,最大化长期累积奖励。
强化学习完整指南 · 从零开始的深度教程 · 2026
仅供学习与参考