强化学习完整指南

从零开始,用通俗的语言带你理解强化学习的核心概念、经典算法和前沿应用

涵盖 8 大章节 · 含数值实例与伪代码 · 从入门到前沿的完整知识体系 · 2026

1. 什么是强化学习?

强化学习(Reinforcement Learning, RL)是机器学习的三大范式之一,核心思想非常直觉:一个智能体(Agent)通过与环境的交互,不断试错,从奖励信号中学习最优行为策略。

和监督学习不同,强化学习没有"标准答案"告诉智能体每一步该怎么做。它只知道做了某个动作之后,环境给了它一个"奖励"或"惩罚"——就像训练一只小狗:坐下给零食,乱咬东西就训斥,小狗慢慢就学会了什么该做、什么不该做。

一个类比

想象你第一次玩一个从未见过的游戏。没有人告诉你规则,你只能不断尝试——按这个键看看会发生什么,按那个键看看会怎样。如果屏幕上出现"+10 分",你就知道刚才的操作是好的;如果角色死了,你就知道那个操作是坏的。经过无数次尝试,你慢慢摸清了游戏的套路,成为高手。这就是强化学习的过程。

强化学习的独特之处在于:决策是序贯的——当前的行动会影响未来的状态和奖励。你不仅要考虑"这一步能得到多少奖励",还要考虑"这一步对我未来的影响"。这就是为什么强化学习需要"延迟奖励"的概念——有些好的决策,短期内看不到收益,但长期来看是最优的。

1.1 强化学习 vs 其他学习方式

监督学习无监督学习强化学习
数据带标签的数据对 (x, y)无标签的数据状态-动作-奖励序列
反馈每个样本都有正确答案没有反馈延迟的奖励信号
目标学习输入到输出的映射发现数据的结构最大化长期累积奖励
数据生成数据是预先收集好的数据是预先收集好的数据通过交互产生
典型应用图像分类、文本翻译聚类、降维游戏 AI、机器人控制
决策特点每条数据独立每条数据独立决策相互关联,有先后顺序
强化学习最独特的特点 ① 没有标准答案——没有人告诉智能体"这一步应该往左走",它只能从奖励信号中摸索。
② 延迟奖励——下棋时,你走的一步好棋可能在 20 步之后才体现出价值。
③ 探索性——智能体必须尝试新动作才能发现更好的策略,但探索也有代价。
④ 序贯决策——每一步都会改变环境状态,影响后续的选择。

1.2 一个生动的例子:走迷宫

让我们用一个走迷宫的例子来直观理解强化学习的工作原理:

1
设定环境——一个 5×5 的迷宫,起点在左上角,出口在右下角。路上有陷阱(扣分)和宝箱(加分)。
2
智能体出场——一个小机器人站在起点。它不知道迷宫的布局,也不知道陷阱和宝箱在哪。
3
开始探索——机器人随机选择方向移动。每走一步,环境会给它一个奖励:踩到陷阱 -10 分,捡到宝箱 +20 分,到达出口 +100 分,普通移动 -1 分(鼓励尽快找到出口)。
4
学习过程——经过成百上千次"走迷宫"后,机器人逐渐记住了:哪些位置危险要避开,哪些位置有宝箱要去拿,怎么走最快到达出口。
5
形成策略——最终机器人学会了一套"最优策略":从任意位置出发,它都知道该怎么走才能拿到最多奖励、最快到达出口。

1.3 强化学习的发展简史

1
1950s:萌芽期——动物学习理论中的"试错学习"(Thorndike 的效果律)启发了强化学习的核心思想。Bellman 提出了动态规划和贝尔曼方程,奠定了数学基础。
2
1980s:时序差分学习——Sutton 提出了 TD 学习方法,结合了蒙特卡洛和动态规划的优点。1989 年 Watkins 提出了 Q-Learning——强化学习最经典的算法。
3
1990s-2000s:理论成熟——策略梯度方法、Actor-Critic 架构、TD(λ) 等方法相继提出。强化学习的理论体系逐渐完善。1997 年 TD-Gammon 用强化学习玩西洋双陆棋达到世界水平。
4
2013-2017:深度强化学习爆发——2013 年 DeepMind 的 DQN 在 Atari 游戏上超越人类。2016 年 AlphaGo 击败世界围棋冠军李世石。深度学习 + 强化学习 = 深度强化学习(Deep RL),引爆了整个领域。
5
2018-至今:走向通用与实用——PPO 成为 ChatGPT 的核心训练算法(RLHF)。AlphaFold 用强化学习预测蛋白质结构。机器人控制、自动驾驶、代码生成等领域广泛应用。强化学习正从游戏走向现实世界。

1.4 强化学习的应用场景

领域应用用到的关键技术
游戏 AI围棋(AlphaGo)、星际争霸(AlphaStar)、Dota 2(OpenAI Five)、Atari 游戏DQN、PPO、蒙特卡洛树搜索、自我博弈
大语言模型对齐ChatGPT、Claude 的 RLHF 训练PPO、奖励模型、DPO
机器人控制机械臂抓取、双足行走、无人机飞行SAC、PPO、Sim-to-Real 迁移
自动驾驶路径规划、决策制定、交通调度深度 RL、模仿学习
推荐系统新闻推荐、广告投放、内容排序上下文老虎机、离线 RL
资源调度数据中心冷却、网络流量调度、芯片设计深度 RL、模型预测控制
科学研究蛋白质结构预测、分子设计、核聚变控制AlphaFold、深度 RL
金融交易量化交易策略、投资组合管理深度 RL、离线 RL

2. 核心概念

强化学习有一套独特的核心概念。理解了这些概念,你就掌握了强化学习的"骨架"。让我们逐个拆解。

2.1 智能体与环境

强化学习中有两个最基本的"角色":

智能体
Agent —— 做决策的主体——它观察环境的状态,选择动作,学习策略。就像一个在迷宫中探索的小机器人。智能体是强化学习中"学习"的主角。
环境
Environment —— 智能体所处的世界——它接收智能体的动作,返回新的状态和奖励信号。就像迷宫本身——你走一步,迷宫告诉你走到了哪里、有没有踩到陷阱。

智能体和环境之间的交互是一个循环过程:

1
观察状态——智能体看到当前环境的状态 Sₜ
2
选择动作——根据策略,智能体选择一个动作 Aₜ
3
执行动作——环境接收动作,转移到新状态 Sₜ₊₁,并返回奖励 Rₜ₊₁
4
循环——智能体根据新的状态和奖励,选择下一个动作。如此循环,直到任务结束。
一个类比

智能体 = 你(玩游戏的人)
环境 = 游戏本身(包含地图、敌人、规则)
你看到屏幕画面(状态),按下按键(动作),游戏给你反馈——角色移动、得分变化或角色死亡(新状态 + 奖励)。

智能体和环境的边界在哪? 边界是由你定义的。比如在机器人控制中,"环境"可以是物理世界(包含重力、摩擦力),也可以是一个仿真模拟器。关键在于:智能体只能通过"动作"影响环境,只能通过"观察"了解环境——它不能直接操控环境的内部运作。

2.2 状态、动作与奖励

状态(State)

状态是对环境当前情况的描述。智能体根据状态来决定下一步该怎么做。

状态空间的大小很重要 状态空间越大,学习越困难。围棋有约 10¹⁷⁰ 种可能的棋局——比宇宙中的原子还多!这就是为什么围棋需要深度强化学习。如果状态空间是连续的(比如机器人的关节角度是实数),还需要特殊的处理方法。

动作(Action)

智能体在每个状态下可以执行的操作。动作空间分为两种:

离散动作空间的算法(如 DQN)和连续动作空间的算法(如 PPO、SAC)通常不同,选择算法时需要注意这一点。

奖励(Reward)

环境给智能体的即时反馈信号,是一个标量数值。奖励是强化学习的核心——智能体的目标就是最大化长期累积奖励。

奖励设计的艺术

奖励设计是强化学习中最需要技巧的环节。
好的奖励:下棋赢了 +1,输了 -1。简单明了,不会出错。
有风险的奖励:每走一步 +0.01(鼓励尽快结束),可能导致智能体学会"快速投降"来结束游戏。
稀疏的奖励:只有通关才有奖励,中间没有任何反馈——智能体可能永远学不到通关的方法。

注意!
奖励黑客(Reward Hacking)——智能体会想方设法"钻空子"来最大化奖励,有时会用人类意想不到的方式。比如你奖励机器人"移动得越远越好",它可能学会反复摔倒——因为摔倒也能移动很远。这叫"奖励黑客"或"奖励欺骗"。

2.3 策略(Policy)

策略是智能体的"行为准则"——从状态到动作的映射。它告诉智能体"在某个状态下应该做什么"。

确定性策略
π(s) = a——给定状态 s,直接输出一个确定的动作 a。比如"在迷宫的这个路口,向右走"。简单但缺乏探索性。
随机性策略
π(a|s) = P(A=a|S=s)——给定状态 s,输出每个动作的概率分布。比如"向右走的概率 70%,向下走的概率 30%"。更灵活,天然包含探索。
一个类比

策略就像你的"性格":
确定性策略 = 你是一个很果断的人,遇到这种情况永远选 A。
随机性策略 = 你有时候选 A(70%),有时候选 B(30%),带有随机性。
在大多数情况下,随机性策略更好——因为它不会卡在固定模式中,能发现更好的选择。

强化学习的目标就是找到最优策略 π*——在每个状态下选择能让长期累积奖励最大的动作。

2.4 价值函数(Value Function)

价值函数衡量一个状态(或状态-动作对)有多"好"——从这个状态出发,按照某个策略走下去,未来能获得多少累积奖励的期望值。

状态价值函数 V(s)

从状态 s 出发,按照策略 π 行动,未来能获得的期望累积奖励。

Vπ(s) = Eπ[Rt+1 + γRt+2 + γ²Rt+3 + ... | St = s]

通俗地说:V(s) 回答了"从这个位置开始,我平均能拿多少分?"

动作价值函数 Q(s, a)

在状态 s 下执行动作 a,之后按照策略 π 行动,未来能获得的期望累积奖励。

Qπ(s, a) = Eπ[Rt+1 + γRt+2 + γ²Rt+3 + ... | St = s, At = a]

通俗地说:Q(s, a) 回答了"从这个位置出发,先走这一步,之后按最优策略来,我平均能拿多少分?"

价值函数的类比:GPS 导航

V(s) = GPS 告诉你"从你现在的位置出发,到达目的地平均需要 30 分钟"。
Q(s, a) = GPS 告诉你"从你现在的位置出发,先走这条路,到达目的地平均需要 25 分钟;先走那条路,平均需要 35 分钟"。
有了 Q 值,智能体就能比较每个动作的好坏,选择最优的那个。

V 和 Q 的关系 V(s) 其实就是 Q(s, a) 的加权平均:V(s) = Σ π(a|s) · Q(s, a)
也就是说,状态的价值 = 各个动作的价值 × 选择该动作的概率 的总和。
最优策略下,V*(s) = maxa Q*(s, a) —— 选 Q 值最大的那个动作。

2.5 探索与利用(Exploration vs Exploitation)

这是强化学习中最核心的矛盾之一:

利用 Exploitation
选已知最好的——根据已有经验,选 Q 值最高的动作。能拿到当前已知的最优回报,但可能错过更好的选择。
探索 Exploration
尝试新动作——选一个以前没怎么试过的动作,看看会怎样。可能发现更好的策略,但也可能浪费时间在差的动作上。
一个类比:选餐厅

你搬到一个新城市:
纯利用:第一次吃了一家还不错的餐厅,之后永远去那家——可能错过了街角更好吃的店。
纯探索:每天都尝试新餐厅——可能踩很多雷,浪费很多钱。
好的策略:前几天多试试新餐厅(探索),找到几家好店后,大部分时间去最喜欢的那几家(利用),偶尔还是尝试一下没去过的新店。

常见的探索策略

策略做法优缺点
ε-贪心(ε-greedy)以概率 ε 随机探索,以概率 1-ε 选最优动作简单有效,最常用。ε 通常从 1.0 逐渐衰减到 0.01
Boltzmann 探索按 Q 值的 softmax 概率选择动作Q 值高的动作被选中的概率更大,但不是确定性的
UCB(上置信界)选 Q 值 + 探索奖励 最大的动作有理论保证,探索不足的动作会获得额外的探索奖励
好奇心驱动给智能体一个"内在奖励"——预测误差大的状态获得额外奖励适合稀疏奖励环境,但可能被"新奇"但无用的状态吸引
噪声网络 NoisyNet在网络权重中加入可学习的噪声探索由网络自动学习,比固定 ε 更智能
熵正则化在目标函数中加入策略的熵,鼓励多样性SAC 使用此方法,自动调节探索程度
ε 衰减策略详解 ε 通常从 1.0(完全随机)开始,随着训练逐渐减小到 0.01(基本贪心)。常见衰减方式:
① 线性衰减:ε = max(0.01, 1.0 - step/decay_steps),均匀减小
② 指数衰减:ε = 0.995^step,减小速度越来越慢
③ 分段衰减:先保持 1.0 一段时间(充分探索),再快速降到 0.01
衰减太快 → 探索不足,学到的策略可能是次优的。衰减太慢 → 浪费时间在随机动作上,学习效率低。

2.6 折扣因子 γ(Gamma)

折扣因子 γ ∈ [0, 1] 决定了智能体有多"在乎未来"。

折扣因子的类比

γ 就像你对"未来回报"的信任程度:
γ = 0 = "先把今天的钱赚到手再说,明天的事明天再说"。
γ = 0.99 = "今天少赚点没关系,只要长期来看是赚的就行"。
γ = 0.5 = "明天的钱只值今天的一半,后天的钱只值四分之一"。
折扣因子也解决了数学上的收敛问题——即使任务无限长,折扣后的累积奖励也是有限的。

2.7 马尔可夫决策过程(MDP)

强化学习问题通常被形式化为一个马尔可夫决策过程(Markov Decision Process, MDP)。MDP 是强化学习的数学框架。

一个 MDP 由五元组 (S, A, P, R, γ) 定义:

S
状态集合——所有可能的状态。比如迷宫中的所有位置。
A
动作集合——所有可能的动作。比如上、下、左、右。
P
状态转移概率——P(s'|s, a) 表示在状态 s 做动作 a 后转移到状态 s' 的概率。比如在冰面上走路,你想往右走但可能滑向其他方向。
R
奖励函数——R(s, a, s') 表示在状态 s 做动作 a 转移到 s' 获得的奖励。
γ
折扣因子——γ ∈ [0, 1],决定对未来的重视程度。

马尔可夫性质

MDP 的核心假设:未来只取决于当前状态,和过去无关。

P(St+1 | St, At) = P(St+1 | S1, A1, S2, A2, ..., St, At)

马尔可夫性质的类比

就像下棋:你只需要看当前的棋盘局面来决定下一步怎么走,不需要知道之前的棋局是怎么走到这一步的。
当然,现实中的很多问题不完全满足马尔可夫性质——比如股票价格不仅取决于今天,还受历史趋势影响。这时候我们可以用"历史窗口"或"循环神经网络"来近似地恢复马尔可夫性质。

2.8 回报与优势函数

回报(Return)

从时间步 t 开始的累积折扣奖励:

Gt = Rt+1 + γRt+2 + γ²Rt+3 + ... = Σk=0∞ γk Rt+k+1

回报是价值函数的基础——V(s) 就是回报的期望值。

优势函数(Advantage Function)

A(s, a) = Q(s, a) - V(s)

优势函数衡量"在状态 s 下选动作 a,比平均水平好多少"。

优势函数在策略梯度方法中非常重要——它替代了原始回报 Gt,大幅降低了方差。

3. 数学基础

别被"数学"吓到!这一章的公式虽然看起来多,但每个公式背后都有非常直觉的含义。你只需要理解"为什么这么算",不需要手推证明。

学习建议 先理解每个公式的"直觉含义"和"它在说什么"。如果你觉得公式太抽象,直接跳到后面的算法章节,等遇到不懂的再回来看。很多人是先学算法再反过来理解数学的——这样效率更高。

3.1 贝尔曼方程(Bellman Equation)

贝尔曼方程是强化学习最核心的数学工具。它建立了一个状态的价值和它的"后继状态"的价值之间的关系——递归思想。

状态价值的贝尔曼方程

一个状态的价值 = 即时奖励 + 折扣后的后继状态价值的期望:

Vπ(s) = Σa π(a|s) · Σs' P(s'|s,a) · [R(s,a,s') + γ · Vπ(s')]

拆解一下这个公式:

贝尔曼方程的直觉

贝尔曼方程说的是:"一个状态的价值 = 马上能得到的奖励 + 之后能得到的奖励"。

比如你站在十字路口。向左走能马上得 5 分,之后的状态价值是 10 分;向右走能马上得 3 分,之后的状态价值是 20 分。如果你的策略是向左走,那当前路口的价值 = 5 + 0.9×10 = 14。如果你的策略是向右走,价值 = 3 + 0.9×20 = 21。

贝尔曼方程把"评估一个状态"这个大问题,拆成了"看一步 + 评估下一步"这个小问题——递归的思想。

动作价值的贝尔曼方程

类似地,Q 函数也有贝尔曼方程:

Qπ(s, a) = Σs' P(s'|s,a) · [R(s,a,s') + γ · Σa' π(a'|s') · Qπ(s', a')]

直觉:在状态 s 做动作 a 的价值 = 马上得到的奖励 + 之后按策略行动的价值。

3.2 最优贝尔曼方程

如果我们想找最优策略(价值最大的策略),就需要最优贝尔曼方程:

最优状态价值

V*(s) = maxa Σs' P(s'|s,a) · [R(s,a,s') + γ · V*(s')]

区别在于把 Σa π(a|s) 换成了 maxa —— 不再按策略加权,而是选最好的动作。

最优动作价值

Q*(s, a) = Σs' P(s'|s,a) · [R(s,a,s') + γ · maxa' Q*(s', a')]

一旦我们知道了 Q*,最优策略就很简单了:在每个状态下选 Q 值最大的动作。

π*(s) = argmaxa Q*(s, a)

核心结论 强化学习的终极目标就是求出 Q*(或 V*)。有了 Q*,就知道在每个状态下该做什么了。后面的所有算法(Q-Learning、DQN 等),本质上都是在近似求解这个方程。

3.3 动态规划(Dynamic Programming)

如果我们完全知道环境的转移概率 P 和奖励函数 R(即"模型已知"),就可以用动态规划直接求解最优策略。这是最理想的情况,但现实中很少见。

策略评估(Policy Evaluation)

给定一个策略 π,计算它的状态价值 Vπ。方法是反复应用贝尔曼方程,直到收敛:

1
初始化——所有状态的 V(s) = 0
2
迭代更新——对每个状态 s,用贝尔曼方程更新:V(s) ← Σa π(a|s) · Σs' P(s'|s,a) · [R + γ·V(s')]
3
收敛判断——如果 V 的变化很小(比如 < 0.001),停止;否则回到第 2 步

策略迭代(Policy Iteration)

交替进行"评估策略"和"改进策略",直到策略不再变化:

1
初始化——随机选一个策略 π
2
策略评估——计算当前策略的价值函数 Vπ
3
策略改进——对每个状态,选 Q 值最大的动作:π(s) ← argmaxa Q(s, a)
4
重复——回到第 2 步,直到策略不再变化(收敛到最优策略)

价值迭代(Value Iteration)

更高效的方法:直接用最优贝尔曼方程迭代,不需要等策略评估完全收敛:

V(s) ← maxa Σs' P(s'|s,a) · [R + γ·V(s')]

每一步都同时"评估"和"改进",比策略迭代更快。

动态规划的局限 动态规划需要完全知道环境的转移概率 P 和奖励函数 R——这在现实中几乎不可能。棋类游戏可以用(规则已知),但机器人控制、自动驾驶等场景不行(物理世界太复杂,无法精确建模)。所以后面的方法(蒙特卡洛、TD)不要求知道 P 和 R。

3.4 蒙特卡洛方法(Monte Carlo, MC)

蒙特卡洛方法的核心思想:通过大量采样来估计价值。不需要知道环境的转移概率,只需要"玩"很多次,记录每次的回报,取平均值。

MC 策略评估

1
采样——用当前策略玩完整的一局游戏(一个 episode),记录每个状态-动作对和获得的奖励
2
计算回报——对每个状态,计算从该状态开始到游戏结束的累积折扣奖励 Gt
3
取平均——V(s) = 所有经过状态 s 的 Gt 的平均值
4
重复——玩更多局,更新估计。随着次数增多,估计越来越准(大数定律)
蒙特卡洛的类比

你想知道一个路口堵车的概率。你不需要知道交通流量模型,只需要每天在那个路口观察——观察 1000 天后,堵车的天数/1000 就是堵车概率的估计。观察越多,估计越准。

首次访问 vs 每次访问

MC 的优缺点

优点缺点
不需要知道环境模型(P 和 R)必须等一局结束才能更新(不能在线学习)
无偏估计,渐近收敛方差大——同一状态的回报可能差异很大
适用于 episodic 任务(有结束的任务)不适用于持续性任务(没有结束的任务)
可以从历史数据中学习需要大量采样才能准确

3.5 时序差分学习(Temporal Difference, TD)

TD 学习是强化学习中最重要的方法之一。它结合了蒙特卡洛(不需要环境模型)和动态规划(不需要等任务结束)的优点。

TD(0) 的核心思想

TD 学习用当前估计来更新之前的估计——"自举"(bootstrapping)。

更新公式:

V(St) ← V(St) + α · [Rt+1 + γ · V(St+1) - V(St)]

拆解:

TD 学习的类比:天气预报

你预测今天最高温度 30°C。到了中午实际是 28°C,你发现预测偏高了 2°C。于是你把明天的预测也稍微下调一点——用今天的误差来修正明天的预测。
你不需要等到明天过完才知道今天预测得准不准——中午就能用实际温度更新估计。这就是 TD "自举"的思想。

数值实例:TD(0) 更新过程

假设你在走一个 1D 格子世界,γ=0.9,α=0.1:

初始 V 值:V(1)=0, V(2)=0, V(3)=0, V(4)=0, V(5)=0(终点)

第 1 步:在状态 2,向右走,得到奖励 R=-1,到达状态 3
  TD 目标 = R + γ·V(3) = -1 + 0.9×0 = -1
  TD 误差 = -1 - V(2) = -1 - 0 = -1
  V(2) ← 0 + 0.1×(-1) = -0.1

第 2 步:在状态 3,向右走,得到奖励 R=-1,到达状态 4
  TD 目标 = -1 + 0.9×0 = -1
  V(3) ← 0 + 0.1×(-1) = -0.1

第 3 步:在状态 4,向右走,得到奖励 R=+10,到达状态 5(终点)
  TD 目标 = 10 + 0.9×0 = 10
  V(4) ← 0 + 0.1×10 = 1.0

经过更多回合后,V 值会逐渐"倒灌":
  V(4) ≈ 1.0(直接拿奖励)
  V(3) ≈ 0.9×1.0 - 1 = -0.1(走一步到 4 再拿奖励)
  V(2) ≈ 0.9×(-0.1) - 1 = -1.09(更远,每步扣 1 分)

MC vs TD 的对比

蒙特卡洛(MC)时序差分(TD)
更新时机等一局结束后才更新每一步都可以更新
目标值真实的累积回报 GtR + γV(S')(估计值)
偏差/方差无偏,高方差有偏(因为自举),低方差
适用任务episodic(有结束)episodic + continuing(都行)
在线学习不行可以
为什么 TD 通常比 MC 好? ① TD 可以在线学习,不需要等任务结束。
② TD 的方差更低(一步的随机性比整局的随机性小得多)。
③ TD 可以从不完整的序列中学习。
但 TD 有偏差(因为用估计值更新估计值),MC 没有偏差。实际中 TD 更常用。

3.6 N-step TD 与 TD(λ)

TD(0) 只看一步,MC 等到结束。N-step TD 是两者的折中——看 N 步再更新。

N-step TD

N-step 回报:Gt(n) = Rt+1 + γRt+2 + ... + γn-1Rt+n + γnV(St+n)

TD(λ):资格迹

TD(λ) 更进一步——同时考虑所有 N 步的回报,用 λn-1 作为权重:

Gtλ = (1-λ) Σn=1∞ λn-1 Gt(n)

前向 vs 后向 TD(λ) 上面是"前向"视角——需要看到未来才能计算。实际中用"后向"视角——通过资格迹(Eligibility Trace)在线更新。每个状态维护一个资格值 e(s),最近访问过的状态资格值高,更新时按资格值加权。这样一步更新就能"追溯"到之前访问过的所有状态。

4. 经典强化学习算法

有了前面的数学基础,我们来看具体的算法。这些是强化学习的"经典武器",虽然现在有了深度版本,但理解它们是理解深度强化学习的前提。

4.1 Q-Learning 详解

离线策略 基础

Q-Learning 是强化学习最经典的算法,由 Watkins 在 1989 年提出。它直接学习最优动作价值函数 Q*,不需要知道环境模型。

核心更新公式

Q(St, At) ← Q(St, At) + α · [Rt+1 + γ · maxa Q(St+1, a) - Q(St, At)]

拆解:

完整伪代码

初始化 Q(s, a) = 0, 对所有 s, a
设定超参数:学习率 α, 折扣因子 γ, 探索率 ε

for episode = 1 to N:
    初始化起始状态 S
    for each step of episode:
        用 ε-贪心选动作 A:
            以概率 ε 随机选动作
            否则 A = argmax_a Q(S, a)
        执行动作 A,观察奖励 R 和新状态 S'
        更新:Q(S, A) ← Q(S, A) + α·[R + γ·max_a Q(S', a) - Q(S, A)]
        S ← S'
    until S 是终止状态

数值实例:Q-Learning 走 3×3 格子

一个 3×3 格子世界,起点左上角(0,0),终点右下角(2,2),奖励:到达终点 +10,每步 -1。动作:上、下、左、右。γ=0.9,α=0.5,ε=0.3。

初始 Q 表(全 0):
       上     下     左     右
(0,0)  0      0      0      0
(0,1)  0      0      0      0
(1,1)  0      0      0      0
...

--- Episode 1 ---
状态 (0,0),ε-贪心选了"右" → 到达 (0,1),奖励 R=-1
  Q((0,0), 右) ← 0 + 0.5×[-1 + 0.9×max(0,0,0,0) - 0]
                = 0 + 0.5×(-1) = -0.5

状态 (0,1),选了"下" → 到达 (1,1),奖励 R=-1
  Q((0,1), 下) ← 0 + 0.5×[-1 + 0.9×0 - 0] = -0.5

状态 (1,1),选了"右" → 到达 (1,2),奖励 R=-1
  Q((1,1), 右) ← 0 + 0.5×[-1 + 0.9×0 - 0] = -0.5

状态 (1,2),选了"下" → 到达 (2,2),奖励 R=+10(终点!)
  Q((1,2), 下) ← 0 + 0.5×[10 + 0.9×0 - 0] = 5.0

--- Episode 2 ---
回到起点 (0,0),选了"右" → (0,1)
  Q((0,0), 右) ← -0.5 + 0.5×[-1 + 0.9×max(Q((0,1))) - (-0.5)]
  max Q((0,1)) = max(0, -0.5, 0, 0) = 0
  = -0.5 + 0.5×[-1 + 0 - (-0.5)] = -0.5 + 0.5×(-0.5) = -0.75

... 经过几百个 episode 后 ...
Q((1,2), 下) ≈ 9.0  ← 走向终点的 Q 值很高
Q((1,1), 右) ≈ 7.2  ← 先到(1,2)再到终点
Q((0,0), 右) ≈ 5.5  ← 最优路径:右→右→下→下
Q-Learning 的重要特性:离线策略(Off-Policy) Q-Learning 在更新时用的是 max Q——即假设下一步会选最优动作。但实际上智能体可能因为 ε-贪心而选了非最优动作。这意味着学习的策略(贪心)和行动的策略(ε-贪心)不同——这就是"离线策略"。好处是可以从别人的经验中学习。
Q-Learning 的收敛条件 Q-Learning 在满足以下条件时保证收敛到最优 Q*:
① 每个 (s, a) 对被访问无穷多次
② 学习率 α 满足 Robbins-Monro 条件:Σα = ∞, Σα² < ∞
实践中用固定的小学习率(如 0.01 或 0.001)通常也能工作得很好。

4.2 SARSA 详解

在线策略 基础

SARSA 的名字来源于它的更新需要的五个元素:S, A, R, S', A'——状态、动作、奖励、新状态、新动作。

核心更新公式

Q(St, At) ← Q(St, At) + α · [Rt+1 + γ · Q(St+1, At+1) - Q(St, At)]

和 Q-Learning 的唯一区别:maxa Q(St+1, a) 换成了 Q(St+1, At+1)。

完整伪代码

初始化 Q(s, a) = 0

for episode = 1 to N:
    初始化 S, 用 ε-贪心选 A
    for each step of episode:
        执行 A,观察 R, S'
        用 ε-贪心选 A'(基于 S')
        更新:Q(S, A) ← Q(S, A) + α·[R + γ·Q(S', A') - Q(S, A)]
        S ← S', A ← A'
    until S 是终止状态
SARSA 的重要特性:在线策略(On-Policy) SARSA 学习的策略和行动的策略是同一个(都是 ε-贪心)。它评估的是"在当前探索策略下,每个动作有多好"——而不是"在最优策略下有多好"。这让 SARSA 更保守、更安全。

4.3 Q-Learning vs SARSA

Q-LearningSARSA
策略类型离线策略(Off-Policy)在线策略(On-Policy)
更新目标max Q(S', a) —— 最优值Q(S', A') —— 实际值
学习风格大胆,追求最优保守,考虑探索的代价
收敛性收敛到最优 Q*收敛到当前策略下的 Qπ
安全性可能学到危险的策略更安全,会避开有风险的状态
需要的元素S, A, R, S'(四元组)S, A, R, S', A'(五元组)
一个类比:走悬崖

在"悬崖行走"环境中,旁边有一条悬崖,掉下去扣 100 分。
Q-Learning 会学到"贴着悬崖边走"——因为这是最短路径(最优策略)。但因为 ε-贪心的随机探索,智能体偶尔会掉下悬崖。
SARSA 会学到"远离悬崖走"——因为它的更新考虑了探索时掉下悬崖的风险。虽然路径更长,但更安全。
如果你在乎安全性,用 SARSA;如果只在乎最终性能,用 Q-Learning。

4.4 期望 SARSA

期望 SARSA 是 SARSA 的改进版。它用所有动作的 Q 值的加权平均(按策略概率)来替代 SARSA 中的单个采样动作:

Q(S,A) ← Q(S,A) + α · [R + γ · Σa π(a|S') · Q(S', a) - Q(S,A)]

期望 SARSA 的优势 期望 SARSA 在实践中经常比 Q-Learning 和 SARSA 都表现更好。它消除了 SARSA 中采样 A' 带来的方差,同时比 Q-Learning 的 max 操作更稳定。唯一的缺点是计算量稍大——但在动作空间不大的情况下完全可以接受。

4.5 双 Q 学习(Double Q-Learning)

Q-Learning 有一个严重问题:Q 值过高估计(Overestimation)。因为 max 操作会选到被高估的 Q 值,导致估计系统性偏高。

过高估计的类比

你扔了 10 次骰子,记录每次的点数。如果你只看最大的那次(比如 6),你会觉得骰子"平均值很高"——但其实平均值是 3.5。max 操作天然会偏向高估值。

Double Q-Learning 的解决方案:用两个独立的 Q 表 Q₁ 和 Q₂。

伪代码

初始化 Q₁(s,a) = 0, Q₂(s,a) = 0

for each step:
    用 ε-贪心(基于 Q₁ + Q₂)选动作 A
    执行 A,观察 R, S'
    随机选择更新 Q₁ 或 Q₂:
    如果更新 Q₁:
        A* = argmax_a Q₁(S', a)
        Q₁(S,A) ← Q₁(S,A) + α·[R + γ·Q₂(S', A*) - Q₁(S,A)]
    如果更新 Q₂:
        A* = argmax_a Q₂(S', a)
        Q₂(S,A) ← Q₂(S,A) + α·[R + γ·Q₁(S', A*) - Q₂(S,A)]

4.6 资格迹(Eligibility Traces)与 TD(λ)

TD(0) 每次只看一步,MC 等到结束才更新。TD(λ) 是两者的"插值"——通过参数 λ ∈ [0, 1] 控制"看多远"。

λ = 0
等价于 TD(0)——只看一步,每步都能更新,但可能有偏差。
λ = 0.5
中间值——看几步再更新,平衡偏差和方差。
λ = 1
接近 MC——等结束才更新,无偏但高方差。

资格迹(Eligibility Trace)是 TD(λ) 的高效实现方式。每个状态维护一个"资格值"——最近访问过的状态有更高的资格值,更新时按资格值加权。直觉:最近刚去过的状态,更应该为当前的 TD 误差"负责"。

4.7 算法选择指南

面对这么多算法,初学者常常不知道该选哪个。这里给出一个实用的选择指南:

场景推荐算法原因
离散状态+离散动作,表格大小可接受Q-Learning简单、经典、效果好
需要安全性(如机器人)SARSA在线策略,考虑探索风险
Q 值过高估计严重Double Q-Learning消除过高估计
状态空间大(图像等)DQN / PPO需要神经网络近似
连续动作空间PPO / SAC / DDPG支持连续动作输出
快速原型验证Stable-Baselines3 的 PPO调参简单,通用性强
机器人控制SAC / TD3样本效率高,稳定性好
NLP/LLM 对齐PPO (RLHF)行业标准,OpenAI 验证

5. 深度强化学习

前面的算法用表格存储 Q 值——每个"状态-动作"对占一格。但现实问题的状态空间太大了(围棋有 10¹⁷⁰ 种状态,图片有无穷多种像素组合),表格根本装不下。

深度强化学习(Deep Reinforcement Learning)用神经网络来近似 Q 函数或策略——用一个函数而不是表格来"压缩"所有的 Q 值。这就是深度学习 + 强化学习的结合。

为什么需要深度? Atari 游戏的画面是 210×160 像素、RGB 三通道。如果用表格记录每个画面的 Q 值,需要 210×160×256³ ≈ 10⁶⁷ 个条目——比宇宙中的原子还多!但用一个卷积神经网络,几百万个参数就能近似地表示所有这些 Q 值。

5.1 DQN(深度 Q 网络)

里程碑

2013 年 DeepMind 提出的 DQN 是深度强化学习的开山之作。它用深度神经网络替代 Q 表来近似 Q 函数,成功在 Atari 游戏上达到甚至超越人类水平。

核心思想

用一个神经网络 Q(s, a; θ) 来近似 Q*(s, a),其中 θ 是网络参数。

损失函数

L(θ) = E[(R + γ · maxa' Q(s', a'; θ⁻) - Q(s, a; θ))²]

其中 θ⁻ 是目标网络的参数(后面会解释)。

DQN 的两大关键创新

经验回放
Experience Replay——把智能体的经验 (s, a, r, s') 存到一个大缓冲区里(通常存 100 万条)。训练时随机从缓冲区中采样一批经验,而不是用连续的序列。好处:① 打破数据的时间相关性,训练更稳定;② 一条经验可以被多次使用,提高数据效率。
目标网络
Target Network——用一个"慢更新"的目标网络 Q(s, a; θ⁻) 来计算 TD 目标,而不是用正在训练的网络。每隔 C 步把主网络的参数复制给目标网络。好处:避免"追逐移动的目标"——如果用同一个网络计算目标和更新,就像用一个不断变化的标准来衡量自己,会导致训练震荡。

完整伪代码

初始化:
  主网络 Q(s, a; θ),随机权重
  目标网络 Q(s, a; θ⁻),θ⁻ ← θ
  经验回放缓冲区 D,容量 N = 1,000,000
  ε = 1.0(探索率)

for episode = 1 to M:
    初始化起始状态 S(预处理:灰度化、缩放、堆叠 4 帧)
    for each step:
        用 ε-贪心选动作 A
        执行 A,观察奖励 R 和新状态 S'
        将 (S, A, R, S') 存入 D

        从 D 中随机采样 mini-batch {(sⱼ, aⱼ, rⱼ, s'ⱼ)}
        计算目标:yⱼ = rⱼ + γ·max_a Q(s'ⱼ, a; θ⁻)  (终止状态时 yⱼ = rⱼ)
        最小化损失:L = mean((yⱼ - Q(sⱼ, aⱼ; θ))²)
        梯度下降更新 θ

        每 C 步:θ⁻ ← θ(同步目标网络)
        ε ← max(0.01, ε × 0.9995)(衰减探索率)
经验回放的类比

经验回放就像你的"学习笔记":你每天玩游戏,把每一步的操作和结果都记在笔记本里。学习的时候,你不是按顺序从第一页看到最后一页,而是随机翻到某一页复习——这样你不会只记得最近玩的几局,而是能复习到很久以前的经验。

5.2 DQN 的改进族谱

DQN 发表后,研究者们提出了很多改进版本:

改进核心思想解决的问题
Double DQN用主网络选动作,用目标网络评估 Q 值Q 值过高估计问题
Dueling DQN把 Q(s,a) 拆成 V(s) + A(s,a)(状态价值 + 优势函数)不需要对每个动作都准确估计 Q 值
Prioritized Experience ReplayTD 误差大的经验被更频繁地采样随机采样效率低——有些经验比其他更有学习价值
NoisyNet在权重中加入可学习的噪声,替代 ε-贪心探索探索更智能——噪声根据任务自适应调整
C51 / QR-DQN不只估计 Q 的均值,而是估计 Q 的整个概率分布处理奖励的随机性,更准确的价值估计
Rainbow把上面 6 种改进组合在一起综合提升,是 DQN 的"集大成者"
Double DQN 的改进细节 原版 DQN 的目标是 y = r + γ·maxa' Q(s', a'; θ⁻)。问题是 max 操作会导致过高估计。
Double DQN 的目标是 y = r + γ·Q(s', argmaxa' Q(s', a'; θ); θ⁻)。
区别:用主网络 θ 选动作,用目标网络 θ⁻ 评估 Q 值。两个网络的"偏见"不同,互相纠正。

5.3 策略梯度方法(Policy Gradient)

前面的方法(Q-Learning、DQN)都是基于价值的方法——先学 Q 值,再推导策略。策略梯度方法则直接优化策略——用神经网络参数化策略 π(a|s; θ),通过梯度上升来最大化期望回报。

策略梯度定理

∇θ J(θ) = Eπ[∇θ log π(At|St; θ) · Gt]

拆解:

直觉:如果一个动作带来了高回报(Gt 大),就增加选这个动作的概率;如果带来了低回报(甚至负回报),就降低它的概率。

策略梯度的类比

就像训练一只小狗:
小狗坐下 → 给零食(高回报)→ 小狗学会"坐下"这个动作的概率增大。
小狗乱咬 → 训斥(低回报)→ 小狗学会"乱咬"的概率减小。
重复无数次后,小狗学会了正确的行为模式。

REINFORCE 算法

最简单的策略梯度算法。每局结束后,用实际回报 Gt 来更新策略:

1
采样——用当前策略 πθ 玩一局游戏,记录 (s, a, r) 序列
2
计算回报——对每个时间步计算 Gt(从 t 到结束的累积折扣奖励)
3
更新策略——θ ← θ + α · Σ ∇log π(at|st; θ) · Gt
4
重复——玩更多局,继续更新

REINFORCE 的问题

降低方差:引入基线

一个简单但有效的技巧:用 Gt - b(减去一个基线 b)替代 Gt。通常 b = V(s)(状态价值函数的估计)。

∇θ J(θ) = E[∇log π(a|s; θ) · (Gt - V(s))]

减去基线不改变梯度的期望(数学上可以证明),但大幅降低了方差。Gt - V(s) 叫做优势函数 A(s, a)——衡量"这个动作比平均水平好多少"。

5.4 Actor-Critic 架构

Actor-Critic 结合了基于价值和基于策略两种方法的优点:

Actor(演员)
策略网络 π(a|s; θ)——负责选择动作。"我该做什么?"
Critic(评论家)
价值网络 V(s; w)——负责评估动作的好坏。"你刚才做得怎么样?"
1
Actor 选动作——根据当前策略选择动作 At
2
环境反馈——执行动作,得到奖励 Rt+1 和新状态 St+1
3
Critic 评估——计算 TD 误差 δ = R + γV(S') - V(S),衡量"做得好不好"
4
双方更新——Critic 更新 V 网络(减小 TD 误差);Actor 根据 Critic 的评估更新策略(让好动作更可能被选中)
Actor-Critic 的类比

就像一个演员和导演的关系:
Actor(演员):在舞台上表演,决定每个动作怎么做。
Critic(导演):在台下看表演,给演员反馈——"刚才那个动作不错,但下一个可以做得更好"。
演员根据导演的反馈不断改进表演。两者相互促进,越来越好。

Advantage Actor-Critic(A2C)

用优势函数 A(s,a) = R + γV(s') - V(s) 替代 REINFORCE 中的 Gt,进一步降低方差。

5.5 PPO(近端策略优化)

最常用

PPO(Proximal Policy Optimization)是 OpenAI 在 2017 年提出的,是目前使用最广泛的深度强化学习算法。ChatGPT 的 RLHF 训练就用了 PPO。

PPO 解决什么问题?

策略梯度方法有一个致命问题:步长很难选。

PPO 的核心思想:限制更新幅度

PPO 用一个"剪切"机制来限制新策略和旧策略之间的差距:

LCLIP(θ) = E[min(rt(θ)·At, clip(rt(θ), 1-ε, 1+ε)·At)]

其中:

PPO 的类比

PPO 就像给策略更新装了一个"限速器":你只能在旧策略附近的小范围内调整,不能"跳太远"。就像开车——你可以换车道,但一次只能换一条,不能一下子跳到对面车道。这样既保证了学习的稳定性,又不会太保守。

PPO 伪代码

for iteration = 1, 2, ...:
    用当前策略 π_θ_old 采集 T 步数据 {(s_t, a_t, r_t, s_{t+1})}
    计算优势估计 A_t(通常用 GAE)

    for epoch = 1 to K:  (通常 K=3~10,重复使用数据)
        计算概率比 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)
        计算 clip 目标:L = min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t)
        梯度上升更新 θ(最大化 L)

    θ_old ← θ

PPO 为什么受欢迎?

5.6 SAC(软演员-评论家)

SAC(Soft Actor-Critic)是目前连续动作空间(如机器人控制)中表现最好的算法之一。核心创新:最大化奖励的同时最大化策略的熵。

最大熵强化学习

SAC 的目标函数:

J(π) = Σt E[rt + α · H(π(·|st))]

其中 H(π) 是策略的熵——衡量策略的"随机性"或"多样性"。α 是温度参数,控制熵的重要性。

为什么最大化熵?

最大化熵 = 鼓励探索。如果你只最大化奖励,智能体可能学会一种很"死板"的策略——只走一条路,遇到新情况就傻了。加上熵的鼓励后,智能体会学到更"灵活"的策略——在同样好的多个动作中随机选择,而不是只固定选一个。
就像一个人:只会一种解法的学生遇到新题就不会了;掌握多种解法的学生更灵活。

SAC 的特点

5.7 DDPG 与 TD3

DDPG(深度确定性策略梯度)

DDPG 是第一个成功处理连续动作空间的深度 RL 算法。它结合了 DQN 和策略梯度的思想:

TD3(双延迟 DDPG)

TD3 是 DDPG 的改进版,解决了 DDPG 的三个问题:

过高估计
用两个 Critic,取较小的 Q 值——类似 Double DQN 的思想,避免 Q 值过高估计。
更新频率
Critic 更新多次后才更新一次 Actor——延迟策略更新,让 Critic 先学准,再指导 Actor。
平滑
目标动作加噪声——在计算目标 Q 值时,给目标动作加噪声,防止策略利用 Q 函数的误差。
DDPGTD3
Critic 数量1 个2 个(取最小值)
过高估计有缓解
更新频率Actor 和 Critic 同步更新Actor 延迟更新(每 2 次 Critic 更新才更新 1 次 Actor)
目标策略平滑无有(目标动作加噪声)
稳定性一般好

5.8 A3C(异步优势 Actor-Critic)

A3C(Asynchronous Advantage Actor-Critic)是 DeepMind 在 2016 年提出的并行训练方法。核心思想:多个 Worker 并行收集经验,异步更新共享的网络参数。

多个 Worker
每个 Worker 有自己的环境副本——独立和环境交互,收集经验。不需要经验回放缓冲区——因为多个 Worker 天然提供了多样化的数据。
异步更新
每个 Worker 计算梯度后直接更新全局网络——不需要等其他 Worker。就像多个人同时在不同地方做实验,各自把结果汇报给总部。

A3C 的优势:训练速度快(多核 CPU 并行),不需要 GPU 也能训练。但后来发现,不异步的版本 A2C(同步)效果一样好甚至更好,因为异步更新会引入噪声。

5.9 模型基础方法(Model-Based RL)

前面的方法都是无模型(Model-Free)的——直接从经验中学习策略或价值函数,不尝试理解环境的运作方式。

模型基础方法(Model-Based)则不同:先学习一个环境模型(预测下一个状态和奖励),再用这个模型来"想象"和规划。

无模型
直接从经验中学——不关心环境怎么运作,只关心"做什么动作能拿高分"。数据效率低,但实现简单。
模型基础
先学环境模型,再用模型规划——"如果我走这一步,接下来会发生什么?"可以用想象来代替真实交互,数据效率高。但模型可能不准确,导致规划出错。
无模型 vs 模型基础

无模型:你在一个陌生城市,不看地图,只靠"走错路→换方向"来摸索。需要走很多冤枉路。
模型基础:你先买一份地图(学习环境模型),然后在地图上规划路线,再实际走。需要走的冤枉路少得多,但如果地图不准确,规划的路线可能走不通。

代表算法

模型基础方法是趋势 无模型方法需要海量数据(AlphaGo 自我对弈了数百万局)。模型基础方法可以用更少的数据达到类似效果——因为智能体可以在"想象"中练习。这让强化学习更接近人类的学习方式:你不需要真的走到悬崖边才知道危险,你可以在脑海中"想象"后果。

5.10 RLHF:人类反馈强化学习

RLHF(Reinforcement Learning from Human Feedback)是让大语言模型(如 ChatGPT、Claude)变得"有用、无害、诚实"的关键技术。它用人类的偏好作为奖励信号来微调模型。

RLHF 的三个阶段

1
阶段一:监督微调(SFT)——用人类标注的高质量对话数据,对预训练的大语言模型进行微调。这一步让模型学会"像人一样对话"的基本能力。
2
阶段二:训练奖励模型(RM)——让模型对同一个问题生成多个回答,人类标注员对这些回答进行排序(哪个更好)。用这些排序数据训练一个"奖励模型"——它能预测人类对任意回答的评分。损失函数:L = -log σ(r(y_good) - r(y_bad))
3
阶段三:PPO 强化学习——把语言模型当作"智能体",把生成回答的过程当作"动作",用奖励模型的打分作为"奖励信号",用 PPO 算法优化语言模型,使其生成人类更偏好的回答。同时加一个 KL 散度惩罚,防止模型偏离太远。
RLHF 的关键细节 ① KL 惩罚:PPO 优化时会加 KL(π || π_ref) 惩罚项,防止模型为了拿高分而生成奇怪的文本(奖励黑客)。
② DPO(Direct Preference Optimization):一种简化方法,跳过奖励模型训练,直接用偏好数据优化策略。数学上等价于 RLHF,但实现更简单。
③ 奖励模型的局限:奖励模型只是人类偏好的近似,可能有偏见或被"欺骗"。

5.11 深度 RL 算法全景对比

算法类型动作空间策略类型特点适用场景
DQN基于价值离散离线策略经验回放+目标网络Atari 游戏
Double DQN基于价值离散离线策略解决过高估计Atari 游戏
PPO策略梯度离散+连续在线策略剪切目标,简单稳定通用,RLHF
SACActor-Critic连续离线策略最大熵,自动温度调节机器人控制
DDPGActor-Critic连续离线策略确定性策略+噪声探索连续控制(已被 TD3 取代)
TD3Actor-Critic连续离线策略双 Critic+延迟更新连续控制,机器人
A2C/A3CActor-Critic离散+连续在线策略并行训练大规模并行环境
REINFORCE策略梯度离散+连续在线策略最简单,高方差教学入门

6. 多智能体强化学习

现实世界中很多问题涉及多个决策者——多个机器人协作、多个玩家对弈、多个公司竞争。多智能体强化学习(Multi-Agent RL, MARL)研究的就是多个智能体在同一环境中学习和交互。

6.1 合作与竞争

完全合作
共享奖励——所有智能体获得相同的奖励。比如一支机器人足球队,赢了一起加分。目标是团队整体表现最好。
完全竞争
零和博弈——一方的奖励就是另一方的惩罚。比如围棋、国际象棋,你赢了对手就输了。
混合
既合作又竞争——比如商业竞争中,同行业的公司既需要合作(共同做大市场),又需要竞争(争夺份额)。

代表性工作

6.2 通信与协调

多智能体系统的核心挑战:每个智能体只能看到自己的观察,但需要和其他智能体协调。

多智能体的核心挑战 ① 非平稳性:其他智能体也在学习和变化,环境从你的角度看是不稳定的。
② 信用分配:团队赢了,是你的功劳还是队友的功劳?
③ 协调:多个智能体需要"达成共识"——如果两个机器人同时去拿同一个物品,就会撞在一起。
④ 可扩展性:智能体数量增加时,联合状态-动作空间指数级增长。

6.3 代表性算法详解

QMIX(值分解方法)

QMIX 是 CTDE 框架下的代表算法,适用于完全合作场景。核心思想:每个智能体有自己的 Q 网络 Q_i(o_i, a_i),然后用一个"混合网络"把它们组合成全局 Q 值。

Q_total = f(Q_1, Q_2, ..., Q_n)

混合网络的设计保证:全局 Q 值对每个智能体的 Q 值是单调递增的(权重非负)。这样 argmax Q_total 就等于每个智能体各自 argmax Q_i——可以分散执行。

MADDPG(多智能体 DDPG)

MADDPG 将 DDPG 扩展到多智能体场景。每个智能体有自己的 Actor 和 Critic:

适用于合作和竞争混合的场景。

自我博弈(Self-Play)

智能体和自己的历史版本对弈——随着自身变强,对手也变强,持续获得挑战。AlphaGo、OpenAI Five 都使用了自我博弈。

初始化策略 π
保存历史策略池 {π}

for iteration:
    从策略池中选一个对手 π_opponent
    用 π 和 π_opponent 对弈,收集数据
    用 PPO 更新 π
    定期把 π 加入策略池

7. 强化学习的挑战与前沿

强化学习在游戏和模拟中取得了巨大成功,但在现实世界的应用仍然面临很多挑战。了解这些挑战有助于你选择研究方向和避免常见陷阱。

7.1 稀疏奖励问题

很多现实任务中,奖励非常稀疏——智能体可能走了几千步才得到一次奖励反馈。比如"在迷宫中找到出口"——只有到达出口才有奖励,中间没有任何反馈。

解决方案

方法核心思想优缺点
课程学习从简单任务开始,逐步增加难度需要人工设计课程,但效果好
好奇心驱动给智能体一个内在奖励——探索新奇的状态自动探索,但可能被无关新奇吸引
HER(事后经验回放)失败的经验也能学习——把实际到达的状态当作"目标"巧妙利用失败经验,适用于目标条件任务
奖励塑形人工设计中间奖励来引导学习有效但需要领域知识,设计不好会误导
分层强化学习把任务拆成子任务,高层选目标,低层执行自然分解复杂任务,但训练更复杂

HER 详解

HER(Hindsight Experience Replay)是一个巧妙的想法:即使智能体没有达到预定目标,它到达的状态也可以当作"新目标"来学习。

原始经验:(s, a, r=0, s', goal)  ← 没达到 goal,r=0
HER 改写:(s, a, r=+1, s', s')  ← 把实际到达的 s' 当作新 goal,r=+1

这样,"失败"的经验也变成了"成功"的经验!

7.2 样本效率

强化学习通常需要大量数据。DQN 玩一个 Atari 游戏需要约 2 亿帧画面(相当于人类玩 38 天)。AlphaGo 自我对弈了数百万局。这在模拟环境中可以接受,但在真实世界中(比如机器人训练)代价太大。

提高样本效率的方法

7.3 安全强化学习

在现实世界中部署强化学习时,安全至关重要——你不能让机器人在学习过程中伤害人或损坏设备。

7.4 迁移与泛化

强化学习训练的策略通常泛化能力差——在训练环境中表现很好,换一个稍微不同的环境就不行了。

7.5 模仿学习(Imitation Learning)

有时候我们有专家的示范数据(比如人类操作员的轨迹),但很难设计奖励函数。模仿学习直接从专家示范中学习策略。

行为克隆
直接模仿——把专家的 (状态, 动作) 对当作监督学习的训练数据,训练一个策略网络。简单但有"分布偏移"问题——训练时的状态分布和实际执行时不同。
DAgger
交互式模仿——智能体执行自己的策略,遇到没见过的状态时请专家标注正确动作。解决分布偏移问题。
逆强化学习
从行为推断奖励——观察专家的行为,反推专家在优化什么奖励函数,然后用 RL 学习这个奖励函数下的最优策略。
生成对抗模仿
GAIL——用 GAN 的思想,训练一个判别器区分专家轨迹和智能体轨迹,智能体努力让判别器分不出来。

7.6 离线强化学习(Offline RL)

传统强化学习需要智能体和环境实时交互来收集数据。但在很多场景中,实时交互很危险(自动驾驶)或很贵(医疗决策)。离线强化学习只用预先收集的历史数据来学习策略,不需要任何实时交互。

离线 RL 的核心挑战:分布偏移 历史数据是由旧策略(行为策略)收集的。如果你学出一个新策略,它可能想去探索历史数据中没有的状态——但你没有那些状态的数据,无法评估 Q 值,导致估计严重不准。解决方案包括:保守 Q 学习(CQL)、隐式 Q 学习(IQL)等——核心思想是让策略"不要太偏离"历史数据覆盖的范围。

代表算法

7.7 奖励塑形技巧

奖励设计是强化学习中最关键也最困难的环节。好的奖励函数能加速学习,坏的奖励函数会导致完全错误的行为。

奖励塑形的原则

原则 1
稀疏奖励优先——先试稀疏奖励(只在完成任务时给奖励)。如果学不到再考虑加塑形奖励。过多的塑形奖励会误导智能体。
原则 2
奖励范围要合理——奖励值不要太大或太小。太大会导致梯度爆炸,太小会导致学习太慢。通常 [-1, +1] 或 [-10, +10] 范围。
原则 3
避免奖励黑客——检查智能体是否在用你意想不到的方式获取奖励。多观察智能体的行为,不要只看训练曲线。
原则 4
势函数塑形——理论上安全的塑形方法:添加 F(s,s') = γΦ(s') - Φ(s) 的奖励,不改变最优策略。Φ(s) 是你对状态好坏的先验估计。

7.8 常见错误与陷阱

强化学习中新手最容易犯的 10 个错误 ① 奖励设计不当——智能体学会了"钻空子"而不是完成任务。一定要多观察智能体的实际行为!
② 学习率太大——训练曲线剧烈波动甚至发散。RL 的学习率通常比监督学习小得多(0.0001~0.001)。
③ 忘记归一化——状态和奖励不归一化会导致训练不稳定。状态通常归一化到 [0,1] 或标准化为均值 0 方差 1。
④ ε 衰减太快——还没充分探索就开始利用,学到的策略是次优的。
⑤ 不做多次实验——RL 的随机性很大,单次实验的结果不可靠。至少跑 3~5 次取平均。
⑥ 网络太大——RL 的数据效率低,太大的网络容易过拟合。从 2~3 层的小网络开始。
⑦ batch size 太小——RL 的梯度噪声大,需要较大的 batch size(256~4096)。
⑧ 忽略实现细节——梯度裁剪、正交初始化、GAE λ 这些"小细节"对性能影响巨大。
⑨ 环境有 bug——奖励计算错误、状态转移逻辑错误。先在最简单的环境中验证。
⑩ 过早放弃——RL 训练曲线经常先下降再上升(探索阶段)。不要因为前期表现差就放弃。

8. 实战与学习路线

8.1 常用工具与框架

工具用途说明
Gymnasium (Gym)强化学习环境库OpenAI 维护,提供 Atari、CartPole、MountainCar 等标准环境。RL 入门必备
Stable-Baselines3RL 算法库PPO、SAC、DQN 等算法的高质量实现。几行代码就能跑一个 RL 实验
RLlib (Ray)分布式 RL支持大规模并行训练,适合复杂任务和多智能体
CleanRL单文件实现每个算法一个文件,代码简洁清晰,适合学习算法实现细节
PyTorch深度学习框架自定义网络结构和训练循环时使用
TensorFlow / Keras深度学习框架TF-Agents 提供 TF 生态的 RL 工具
MuJoCo物理仿真引擎机器人控制的标准仿真环境(现已免费开源)
PettingZoo多智能体环境多智能体 RL 的标准环境库
Weights & Biases实验跟踪记录训练曲线、超参数、模型版本

8.2 经典练手项目

项目环境推荐算法难度说明
CartPoleGymnasiumDQN、PPO入门平衡一根杆子,最经典的入门环境
MountainCarGymnasiumQ-Learning、DQN入门稀疏奖励,小车爬山
FrozenLakeGymnasiumQ-Learning、SARSA入门冰面行走(有滑动),离散状态空间
Atari 游戏GymnasiumDQN、PPO中级从像素学习玩游戏,经典 DeepMind 任务
LunarLanderGymnasiumPPO、SAC中级控制飞船着陆,连续动作空间
BipedalWalkerGymnasiumPPO、SAC进阶控制双足机器人行走
MuJoCo 任务MuJoCoSAC、TD3进阶机器人控制,如 Humanoid、HalfCheetah
自定义游戏自己定义任意挑战用 Gymnasium 创建自己的环境,最能锻炼能力

8.3 推荐学习路线

1
第 1-2 周:理解核心概念——MDP、价值函数、策略、贝尔曼方程。不急着写代码,先建立正确的直觉。推荐 David Silver 的强化学习公开课前 4 讲。
2
第 3-4 周:实现经典算法——用 Python 手写 Q-Learning 和 SARSA,跑 CartPole 和 FrozenLake 环境。推荐《动手学强化学习》教程。
3
第 5-8 周:深度强化学习入门——用 Stable-Baselines3 跑 PPO 和 SAC,尝试 Atari 和 MuJoCo 环境。理解 DQN、策略梯度、Actor-Critic 的原理。
4
第 9-12 周:动手做项目——选一个感兴趣的环境(游戏、机器人、推荐系统),从零实现一个完整的 RL 项目。遇到问题再回来深入理论。
5
第 13+ 周:选择方向深入——多智能体 RL、离线 RL、模型基础方法、RLHF、机器人控制等。根据兴趣和职业规划选择。

8.4 推荐学习资源

类型资源说明
经典教材Sutton & Barto《Reinforcement Learning: An Introduction》强化学习的"圣经",免费在线阅读。覆盖基础到进阶,数学严谨但通俗
入门课程David Silver 强化学习公开课(UCL/DeepMind)经典入门课程,10 讲覆盖核心内容,YouTube 可看
中文课程李宏毅《深度强化学习》讲解生动有趣,中文,适合快速入门
中文教材《动手学强化学习》(张伟楠等)有代码有讲解,交互式,适合中文读者入门
进阶教材Szepesvári《Algorithms for Reinforcement Learning》偏理论,适合深入理解算法
实战Spinning Up in Deep RL(OpenAI)从零到一的深度 RL 教程,有代码实现
视频3Blue1Brown + Yannic Kilcher 的论文讲解直觉建立 + 论文理解
社区r/reinforcementlearning、RL China最新研究讨论、问题解答

8.5 调试与排错指南

强化学习的调试比监督学习困难得多——因为奖励信号稀疏、训练不稳定、随机性大。以下是一套实用的调试流程:

第一步:验证环境

# 检查环境是否正常
env = gym.make('CartPole-v1')
obs, info = env.reset()
for _ in range(100):
    action = env.action_space.sample()  # 随机动作
    obs, reward, terminated, truncated, info = env.step(action)
    print(f"obs={obs}, reward={reward}")
    if terminated or truncated:
        obs, info = env.reset()

# 检查:奖励是否合理?状态是否有意义?终止条件是否正确?

第二步:用简单算法验证

在实现复杂算法前,先用最简单的算法(如 Q-Learning 或随机策略)验证环境。如果简单算法完全学不到东西,可能是环境或奖励设计有问题。

第三步:关键指标监控

指标正常范围异常表现可能原因
平均奖励逐渐上升不增长或剧烈波动学习率太大/太小、奖励设计问题
episode 长度根据任务变化越来越短(过早结束)奖励黑客、终止条件问题
Q 值大小与实际回报接近越来越大(发散)学习率太大、过高估计
策略熵逐渐降低突然降到 0过早收敛到次优策略
梯度范数稳定爆炸或消失需要梯度裁剪、学习率调整

常见问题与解决方案

问题症状解决方案
训练不收敛奖励不增长降低学习率、增大 batch size、检查奖励归一化
训练不稳定奖励剧烈波动多跑几次取平均、使用目标网络、降低更新频率
过拟合训练好但测试差增大经验池、使用正则化、域随机化
探索不足卡在局部最优增大 ε、延长探索期、使用好奇心驱动
奖励黑客行为异常但奖励高重新设计奖励、多观察行为、加约束

8.6 给初学者的建议

12 条实用建议
  1. 先读 Sutton 的书——前 6 章是基础中的基础,不需要全读完,但前 6 章一定要读
  2. 先跑代码再理解理论——用 Stable-Baselines3 几行代码跑一个 CartPole,看看效果,再深入理解算法
  3. 手写 Q-Learning——不要一上来就用框架。用纯 NumPy 实现 Q-Learning,理解每一步在做什么
  4. 理解 MDP 比理解算法更重要——算法只是求解 MDP 的不同方式,MDP 的理解是一切的基础
  5. 奖励设计是最关键的——同一个环境,不同的奖励函数会导致完全不同的行为。花时间设计好奖励
  6. 调参很重要——强化学习对超参数很敏感。学习率、ε 衰减、网络结构、batch size 都需要仔细调
  7. 训练不稳定是常态——RL 训练曲线经常剧烈波动。多跑几次取平均,不要被单次的随机性吓到
  8. 从简单环境开始——CartPole → LunarLander → Atari → MuJoCo,逐步增加难度
  9. 读经典论文——DQN、PPO、SAC、AlphaGo 这几篇一定要读
  10. 加入社区——遇到问题不要死磕,去 GitHub Issues、Reddit、知乎提问
  11. 多观察智能体行为——不要只看训练曲线,一定要渲染环境看智能体实际在做什么
  12. 保持耐心——RL 是机器学习中最难的分支之一,需要时间和实践才能真正理解

强化学习的本质就是:让智能体通过与环境的交互,从试错中学习最优策略,最大化长期累积奖励。

强化学习完整指南 · 从零开始的深度教程 · 2026
仅供学习与参考