1. 从“智能体到底在学什么”说起很多人第一次接触强化学习脑子里冒出来的画面大概是一个机器人在迷宫里乱撞撞得头破血流之后突然开窍学会了走最短路径。这个画面不算错但它把强化学习最核心的那层东西给盖住了——智能体真正在学的不是“怎么走迷宫”而是“在什么状态下做什么动作长期来看回报最大”。这个区别非常关键。监督学习是给你一堆标注好的样本告诉你“这张图是猫那张图是狗”模型学的是输入到输出的映射。强化学习没有标准答案它只有一个环境你做一个动作环境给你一个反馈然后进入下一个状态。你需要在无数次试错中自己摸索出一套策略。这套策略的好坏不是看单步动作对不对而是看从长远来看累积的回报够不够高。David Silver 的这门课程之所以经典就是因为它没有一上来就堆公式而是先把“智能体、环境、状态、动作、奖励、策略、价值函数”这些基本概念一个一个掰开揉碎讲清楚。很多人学强化学习卡住不是因为数学不好而是因为这些概念之间的关系没有理顺。比如“价值函数”和“动作价值函数”到底差在哪“策略”和“价值”谁先谁后“探索”和“利用”为什么必须同时存在。这些问题不搞清楚后面看 Q-Learning、Policy Gradient、Actor-Critic 就会越看越糊涂。这篇文章就是围绕这些基本概念展开的。我会按照 David Silver 第一讲的脉络把每个概念的定义、背后的直觉、以及它们之间的逻辑关系讲透。适合两类人看一类是刚入门强化学习、被各种术语绕晕的新手另一类是有一定基础、但总觉得“好像懂了又好像没懂”的进阶者。我会尽量用生活化的例子来解释同时把关键公式和参数的含义说清楚让你不仅知道“是什么”还知道“为什么是这样”。2. 强化学习的核心框架拆解2.1 智能体与环境的交互循环强化学习最基础的图景就是智能体和环境之间的交互。你可以把智能体想象成一个在玩游戏的玩家环境就是游戏本身。玩家看到屏幕上的画面这是观察玩家按下一个按钮这是动作游戏画面发生变化同时分数可能增加或减少这是状态转移和奖励。这个循环用数学语言描述就是在时间步 ( t )智能体观察到状态 ( S_t )根据某个策略选择一个动作 ( A_t )环境接收到动作后转移到新的状态 ( S_{t1} )同时给出一个奖励 ( R_{t1} )。然后智能体在新状态下继续选择动作如此循环。这里有一个很容易被忽略的细节奖励的下标是 ( t1 ) 而不是 ( t )。为什么因为奖励是环境在智能体执行动作之后才给出的它是对“在状态 ( S_t ) 下执行动作 ( A_t )”这个行为的反馈。这个下标看起来是小事但在推导贝尔曼方程的时候如果搞错了下标整个公式就会乱套。另一个细节是状态 ( S_t ) 必须是马尔可夫性的。什么意思就是说当前状态包含了做出决策所需要的全部历史信息。如果当前状态不够那智能体就需要记住之前的状态这就变成了部分可观测马尔可夫决策过程。David Silver 在第一讲里默认讨论的是完全可观测的情况也就是状态 ( S_t ) 已经足够描述当前局面。注意很多初学者会把“观察”和“状态”混为一谈。在完全可观测的环境里观察就是状态但在部分可观测的环境里观察只是状态的一部分投影。比如打扑克你只能看到自己的牌和已经打出的牌看不到对手手里的牌这就是部分可观测。2.2 奖励假设一切目标的统一表达强化学习有一个非常大胆的假设叫做“奖励假设”任何目标都可以被描述为最大化期望累积奖励。这个假设听起来有点霸道但它其实是强化学习能够成为通用框架的基础。举个例子。下棋的目标是赢棋那奖励可以设计成赢棋得 1输棋得 -1平局得 0。机器人行走的目标是走到目的地那可以设计成每走一步给一个小惩罚到达目的地给一个大奖励。股票交易的目标是赚钱那奖励可以直接用收益来表示。不管任务看起来多么不同只要你能把目标转化成奖励信号强化学习就能用同一套框架来处理。但这里有一个坑奖励设计得好不好直接决定了智能体能不能学到你想要的行为。如果奖励设计得太稀疏比如只有赢棋才给奖励那智能体在学会赢棋之前可能已经试了成千上万次学习效率极低。如果奖励设计得有漏洞智能体可能会找到一种“刷奖励”的方式做出你并不想要的行为。比如你训练一个机器人走路每走一步给 1那它可能会原地踏步刷奖励而不是真的往前走。实操心得奖励设计是强化学习里最像“艺术”的部分。我的经验是先想清楚你最终想要什么行为然后倒推什么样的奖励信号能引导出这个行为。如果奖励太稀疏可以考虑引入中间奖励但一定要小心不要引入错误的引导。2.3 回报、折扣因子与回合智能体在做决策的时候不能只看眼前这一步的奖励还要考虑未来。把未来所有奖励加起来就得到了“回报”。但未来的奖励和眼前的奖励不一样通常我们会给未来的奖励打个折扣这就是折扣因子 ( \gamma )。回报的定义是 ( G_t R_{t1} \gamma R_{t2} \gamma^2 R_{t3} \cdots )。折扣因子 ( \gamma ) 取值在 0 到 1 之间。如果 ( \gamma 0 )智能体只关心眼前利益非常短视。如果 ( \gamma ) 接近 1智能体就会考虑很远的未来。为什么要有折扣因子有两个原因。第一数学上如果任务没有终止未来奖励加起来可能是无穷大折扣因子保证了回报是有限的。第二实际中未来的不确定性更大远处的奖励不如眼前的奖励可靠折扣因子反映了这种不确定性。这里要区分两个概念回合制任务和连续任务。回合制任务有明确的终止状态比如一局棋、一局游戏结束后重新开始。连续任务没有终止比如持续运行的推荐系统、机器人控制。对于回合制任务回报是有限项之和对于连续任务必须引入折扣因子才能保证回报收敛。2.4 策略智能体的行为准则策略 ( \pi ) 是智能体的核心。它定义了在每个状态下应该选择什么动作。策略可以是确定性的写成 ( a \pi(s) )也可以是随机性的写成 ( \pi(a|s) P(A_t a | S_t s) )。随机策略在很多场景下是必要的。比如石头剪刀布如果策略是确定性的对手一旦摸清你的规律就能稳赢。随机策略让对手无法预测从而保持竞争力。在强化学习中随机策略还有一个重要作用它天然地包含了探索。智能体不是每次都选当前认为最好的动作而是以一定概率尝试其他动作这样才有可能发现更好的策略。策略的好坏怎么衡量给定一个策略 ( \pi )我们可以计算在这个策略下从某个状态出发的期望回报这就是状态价值函数 ( v_\pi(s) )。同样我们也可以计算在某个状态下执行某个动作后的期望回报这就是动作价值函数 ( q_\pi(s, a) )。2.5 价值函数对未来的预测价值函数是强化学习里最核心的概念之一。它回答的问题是如果我从现在开始按照某个策略一直走下去平均能拿到多少回报状态价值函数 ( v_\pi(s) ) 的定义是从状态 ( s ) 出发按照策略 ( \pi ) 选择动作期望能获得的回报。动作价值函数 ( q_\pi(s, a) ) 的定义是从状态 ( s ) 出发先执行动作 ( a )然后再按照策略 ( \pi ) 选择动作期望能获得的回报。这两个函数之间的关系非常紧密。( v_\pi(s) ) 等于在状态 ( s ) 下按照策略 ( \pi ) 选择动作的期望 ( q_\pi(s, a) )。如果策略是确定性的那 ( v_\pi(s) q_\pi(s, \pi(s)) )。如果策略是随机性的那 ( v_\pi(s) \sum_a \pi(a|s) q_\pi(s, a) )。反过来( q_\pi(s, a) ) 也可以用 ( v_\pi(s) ) 来表示。执行动作 ( a ) 之后环境会给出奖励 ( R_{t1} ) 并转移到新状态 ( S_{t1} )然后从新状态开始按照策略 ( \pi ) 继续走。所以 ( q_\pi(s, a) \mathbb{E}[R_{t1} \gamma v_\pi(S_{t1}) | S_t s, A_t a] )。这两个关系式就是贝尔曼方程的核心。贝尔曼方程的本质是递归当前状态的价值等于即时奖励加上折扣后的下一状态价值。这个递归结构让强化学习可以用动态规划的方法来求解。提示理解贝尔曼方程的关键是理解“递归”。你可以把它想象成“今天的价值 今天的收益 明天的价值打折”。这个思路贯穿了整个强化学习后面的 Q-Learning、TD 学习都是从这个方程衍生出来的。2.6 最优策略与最优价值函数在强化学习里我们最终想要的是找到最优策略 ( \pi^* )。最优策略的定义是在所有策略中它的价值函数在每个状态下都是最大的。也就是说对于任意状态 ( s )都有 ( v_{\pi^*}(s) \geq v_\pi(s) ) 对所有 ( \pi ) 成立。最优策略有一个非常重要的性质如果 ( v_{\pi^}(s) ) 是最优状态价值函数那么 ( v_{\pi^}(s) \max_a q_{\pi^}(s, a) )。也就是说在最优策略下每个状态的价值等于在该状态下选择最优动作后的动作价值。这个性质告诉我们只要知道了最优动作价值函数 ( q^)最优策略就是贪心地选择 ( q^* ) 最大的动作。最优动作价值函数 ( q^(s, a) ) 满足贝尔曼最优方程( q^(s, a) \mathbb{E}[R_{t1} \gamma \max_{a} q^*(S_{t1}, a) | S_t s, A_t a] )。这个方程和之前的贝尔曼方程的区别在于这里用的是 ( \max_{a} ) 而不是某个固定策略下的期望。这个 ( \max ) 操作是非线性的所以贝尔曼最优方程不能像普通贝尔曼方程那样直接解线性方程组需要用迭代的方法来求解。3. 探索与利用强化学习的核心矛盾3.1 为什么必须同时探索和利用探索与利用的权衡是强化学习区别于其他机器学习范式的核心特征。监督学习不需要探索因为训练数据已经给定了。强化学习没有现成的数据智能体必须通过与环境交互来生成数据。这就产生了一个两难是选择当前认为最好的动作来获取奖励还是尝试一些不那么确定的动作以便发现可能更好的策略如果只利用不探索智能体可能会一直困在局部最优。比如你每天中午都去同一家餐厅吃饭虽然你知道这家还不错但你可能错过了隔壁那家更好吃的。如果只探索不利用智能体就一直在试错永远无法稳定地获得高回报。就像你每天中午都随机选一家餐厅虽然可能偶尔发现好店但大部分时候吃得并不满意。3.2 常见的探索策略最简单的探索策略是 ( \epsilon )-贪心。以概率 ( \epsilon ) 随机选择一个动作以概率 ( 1-\epsilon ) 选择当前认为最好的动作。( \epsilon ) 通常设成一个较小的值比如 0.1 或 0.01。也可以让 ( \epsilon ) 随着时间衰减一开始多探索后面多利用。另一种策略是玻尔兹曼探索也叫 softmax 探索。它不是随机选动作而是根据动作价值的相对大小来分配概率。价值高的动作被选中的概率大但价值低的动作也有机会被选中。温度参数 ( \tau ) 控制探索的程度( \tau ) 越大越倾向于随机( \tau ) 越小越倾向于贪心。还有一种更高级的思路是“乐观初始值”。把每个动作的初始价值设得比实际可能的值高这样智能体一开始会倾向于尝试那些还没试过的动作因为它们的价值看起来很高。随着尝试次数增加价值估计逐渐回归真实值探索自然减少。实操心得在实际项目中我通常先用较大的 ( \epsilon ) 快速探索然后逐渐衰减到一个小值。衰减的速度很关键衰减太快可能还没探索够就固化了衰减太慢则学习效率低。一个经验法则是让 ( \epsilon ) 在总训练步数的前 20% 到 30% 内完成衰减。3.3 探索与利用的数学视角从数学上看探索与利用的权衡可以用“遗憾”来刻画。遗憾是指如果从一开始就知道最优策略能获得的回报与实际采用的策略获得的回报之间的差距。一个好的探索策略应该让遗憾随时间增长得尽可能慢。对于多臂老虎机问题已经有一些经典的探索算法比如 UCB。UCB 的核心思想是在选择动作时不仅考虑动作的平均回报还考虑该动作的不确定性。不确定性越大越值得尝试。具体来说UCB 给每个动作一个分数平均回报加上一个与尝试次数成反比的探索项。尝试次数越少探索项越大动作越有可能被选中。这个思路在强化学习里也有应用比如 UCB 可以用于蒙特卡洛树搜索中的动作选择。不过在多状态、多动作的强化学习问题里探索与利用的权衡更加复杂因为一个动作不仅影响当前的奖励还影响后续的状态分布。4. 马尔可夫决策过程强化学习的数学骨架4.1 马尔可夫性状态够用就行马尔可夫决策过程是强化学习的标准数学框架。它的核心假设是马尔可夫性未来只取决于当前状态与更早的历史无关。用条件概率写就是 ( P(S_{t1} | S_t) P(S_{t1} | S_1, S_2, \ldots, S_t) )。这个假设看起来很强但在很多场景下是合理的。比如下棋当前棋盘上的局面已经包含了所有需要的信息之前怎么走到这个局面的并不重要。再比如机器人导航当前的位置和速度足够决定下一步怎么走之前走过的路径不影响未来的动力学。但马尔可夫性并不总是成立。比如打牌你只知道当前手里的牌和已经打出的牌不知道对手手里的牌也不知道牌堆里剩下的牌的顺序。这种情况下当前观察不是马尔可夫的你需要记住历史信息来做出更好的决策。这就是部分可观测马尔可夫决策过程。4.2 MDP 的五元组一个马尔可夫决策过程由五个元素组成状态集合 ( \mathcal{S} )、动作集合 ( \mathcal{A} )、转移概率 ( \mathcal{P} )、奖励函数 ( \mathcal{R} )、折扣因子 ( \gamma )。状态集合和动作集合通常是有限的但也可以是连续的。转移概率 ( P(s|s, a) ) 定义了在状态 ( s ) 执行动作 ( a ) 后转移到状态 ( s ) 的概率。奖励函数 ( R(s, a) ) 定义了在状态 ( s ) 执行动作 ( a ) 后获得的期望即时奖励。折扣因子 ( \gamma ) 决定了未来奖励的权重。这五个元素一起定义了智能体所处的环境。强化学习的目标就是在这个环境中找到一个最优策略使得期望累积奖励最大。4.3 从 MDP 到贝尔曼方程有了 MDP 的五元组就可以严格地定义价值函数和贝尔曼方程了。状态价值函数的贝尔曼方程是[ v_\pi(s) \sum_{a} \pi(a|s) \sum_{s} P(s|s, a) \left[ R(s, a) \gamma v_\pi(s) \right] ]这个公式的含义是在状态 ( s ) 下按照策略 ( \pi ) 选择动作 ( a )然后环境以概率 ( P(s|s, a) ) 转移到状态 ( s )获得奖励 ( R(s, a) )再加上折扣后的下一状态价值 ( \gamma v_\pi(s) )。对所有可能的动作和下一状态求期望就得到了当前状态的价值。动作价值函数的贝尔曼方程是[ q_\pi(s, a) \sum_{s} P(s|s, a) \left[ R(s, a) \gamma \sum_{a} \pi(a|s) q_\pi(s, a) \right] ]这两个方程是等价的只是从不同的角度来描述价值。在实际计算中我们通常用迭代的方法来求解这些方程比如价值迭代和策略迭代。4.4 价值迭代与策略迭代价值迭代的思路很直接反复用贝尔曼最优方程来更新价值函数直到收敛。具体来说每次迭代对每个状态 ( s ) 执行[ v_{k1}(s) \max_a \sum_{s} P(s|s, a) \left[ R(s, a) \gamma v_k(s) \right] ]这个更新规则把 ( v_k ) 逐步逼近最优价值函数 ( v^* )。收敛之后最优策略就是在每个状态选择使右边最大的动作。策略迭代则分两步策略评估和策略改进。策略评估是给定当前策略计算它的价值函数策略改进是根据价值函数贪心地更新策略。这两步交替进行直到策略不再变化。价值迭代和策略迭代都能保证收敛到最优策略但它们的计算特点不同。价值迭代每次迭代的计算量较小但可能需要更多次迭代策略迭代每次迭代需要完整地评估策略计算量较大但通常需要的迭代次数较少。注意在实际问题中状态空间可能非常大甚至连续。这时候精确的价值迭代和策略迭代就不可行了需要用函数近似的方法比如用神经网络来表示价值函数。这就是深度强化学习的起点。5. 从基本概念到算法实现的关键跨越5.1 动态规划、蒙特卡洛与时序差分有了 MDP 和贝尔曼方程接下来的问题是怎么求解。David Silver 的课程里介绍了三类方法动态规划、蒙特卡洛和时序差分。动态规划需要知道完整的环境模型也就是转移概率 ( P(s|s, a) ) 和奖励函数 ( R(s, a) )。有了模型就可以用价值迭代或策略迭代来求解。但很多实际问题中环境模型是未知的智能体只能通过与环境交互来获取经验。蒙特卡洛方法不需要环境模型它通过采样完整的回合来估计价值函数。比如玩一局游戏记录下每个状态和最终回报然后用这些样本来更新价值估计。蒙特卡洛方法的优点是估计是无偏的但缺点是必须等到回合结束才能更新而且方差较大。时序差分方法结合了动态规划和蒙特卡洛的优点。它不需要环境模型也不需要等到回合结束而是用一步的奖励和下一状态的估计值来更新当前状态的估计值。最简单的时序差分更新是[ V(S_t) \leftarrow V(S_t) \alpha \left[ R_{t1} \gamma V(S_{t1}) - V(S_t) \right] ]这个更新规则就是 TD(0)。其中 ( \alpha ) 是学习率( R_{t1} \gamma V(S_{t1}) ) 是 TD 目标( R_{t1} \gamma V(S_{t1}) - V(S_t) ) 是 TD 误差。5.2 从价值函数到策略Q-Learning 的直觉Q-Learning 是时序差分方法里最经典的一个。它直接学习最优动作价值函数 ( q^* )更新规则是[ Q(S_t, A_t) \leftarrow Q(S_t, A_t) \alpha \left[ R_{t1} \gamma \max_a Q(S_{t1}, a) - Q(S_t, A_t) \right] ]注意这里用的是 ( \max_a Q(S_{t1}, a) )而不是某个策略下的期望。这意味着 Q-Learning 学习的是最优策略的价值而不是当前策略的价值。这种“离策略”的特性让 Q-Learning 可以从任意行为策略产生的数据中学习非常灵活。Q-Learning 的收敛性有一个重要条件所有状态-动作对都必须被无限次访问。这又回到了探索与利用的问题。如果行为策略不能保证足够的探索Q-Learning 可能会收敛到次优解。5.3 函数近似从表格到神经网络当状态空间很大或者连续时用表格来存储每个状态的价值是不现实的。这时候需要用函数近似用一个参数化的函数 ( \hat{v}(s; \mathbf{w}) ) 来近似价值函数。参数 ( \mathbf{w} ) 可以通过梯度下降来学习。函数近似带来了新的挑战。在表格方法中每个状态的更新是独立的但在函数近似中更新一个状态的参数会影响其他状态的估计。这可能导致不稳定甚至发散。深度强化学习中的很多技巧比如经验回放、目标网络都是为了解决这个问题。实操心得如果你刚开始做强化学习项目建议先用小规模的问题验证算法比如 GridWorld 或者 CartPole。这些问题的状态空间小容易调试。等算法跑通了再逐步增加复杂度。直接上大规模问题很容易被各种细节坑住。6. 常见问题与排查技巧实录6.1 价值函数不收敛怎么办价值函数不收敛是强化学习里最常见的问题之一。可能的原因有很多学习率太大、奖励尺度不合理、探索不足、函数近似不稳定等。排查的时候我通常先检查学习率。学习率太大会导致更新步长过大价值估计在最优值附近震荡甚至发散。可以尝试把学习率调小一个数量级看看是否收敛。如果调小后收敛但速度太慢可以尝试学习率衰减。奖励尺度也是一个常见问题。如果奖励的绝对值很大价值函数的估计值也会很大梯度更新可能会不稳定。一个常用的技巧是把奖励归一化到大致 -1 到 1 的范围内。探索不足也会导致价值函数不收敛。如果智能体总是选择相同的动作某些状态-动作对的价值就永远得不到更新估计值会一直停留在初始值。可以增加探索概率或者使用乐观初始值。6.2 智能体学到“奇怪”的行为怎么办有时候智能体会学到一些你意想不到的行为比如原地转圈、卡在角落里、反复做同一个动作。这通常是因为奖励设计有问题或者探索策略有漏洞。遇到这种情况先检查奖励函数。是不是有某种“刷奖励”的方式比如每走一步给正奖励智能体可能会原地踏步。是不是奖励太稀疏智能体根本找不到正确的方向如果是可以考虑引入中间奖励或者奖励塑形。另一个可能的原因是状态表示不够。如果状态没有包含足够的信息智能体无法区分不同的局面就可能做出看似奇怪的行为。比如在迷宫里如果状态只包含位置不包含方向智能体可能不知道自己是面朝哪边就无法做出正确的转向决策。6.3 训练速度太慢怎么优化训练速度慢可能有很多原因。如果用的是表格方法状态空间太大导致每个状态访问次数太少学习效率自然低。这时候可以考虑函数近似或者对状态进行离散化。如果用的是深度强化学习训练速度慢可能是网络太大、批量太小、或者经验回放缓冲区太小。可以尝试减小网络规模、增大批量、增大缓冲区。另外检查一下环境模拟的速度如果环境本身很慢可以考虑并行化环境。还有一个容易被忽略的点是奖励的稀疏性。如果奖励非常稀疏智能体需要很长时间才能遇到一次有效奖励学习效率会很低。可以考虑奖励塑形或者使用分层强化学习、课程学习等技巧。问题现象可能原因排查方法解决思路价值函数震荡学习率太大调小学习率观察学习率衰减价值函数发散奖励尺度太大检查奖励范围奖励归一化智能体行为奇怪奖励设计有漏洞分析奖励函数重新设计奖励训练速度慢状态空间太大统计状态访问次数函数近似或离散化学不到有效策略探索不足检查动作分布增加探索概率6.4 折扣因子怎么选折扣因子 ( \gamma ) 的选择取决于任务的时间尺度。如果任务回合很短比如几十步就结束( \gamma ) 可以设得大一些比如 0.9 到 0.99。如果回合很长比如几千步( \gamma ) 可以设得小一些比如 0.9 左右否则回报的方差会很大。另一个考虑是如果任务有明确的终止状态而且你希望智能体尽快到达终止状态可以设 ( \gamma ) 小一些让智能体更关注眼前。如果你希望智能体考虑长远就设大一些。实际调参的时候我通常会试几个不同的 ( \gamma ) 值比如 0.9、0.95、0.99看看哪个效果最好。有时候 ( \gamma ) 的微小变化会对最终策略产生很大影响。7. 一些个人体会学强化学习最大的障碍往往不是数学而是思维方式。监督学习是“给定输入预测输出”强化学习是“在交互中学习在试错中进步”。这个思维转变需要时间。David Silver 的课程好在它把基本概念讲得非常清楚而且是从直觉出发不是一上来就堆公式。我建议看这门课的时候不要急着往后赶每看完一讲自己动手推一遍公式写一段简单的代码验证一下。比如学完贝尔曼方程可以用一个简单的 GridWorld 实现价值迭代看看价值函数是怎么一步步收敛的。另外强化学习的很多概念是相互关联的。价值函数、策略、贝尔曼方程、探索与利用这些不是孤立的知识点而是一个整体。学的时候要经常问自己这个概念和之前学的有什么关系它在整个框架里处于什么位置这样学下来知识才是成体系的而不是零散的。最后说一个我踩过的坑一开始学的时候我总想找一个“万能算法”以为学会了某个算法就能解决所有问题。后来发现强化学习没有万能算法不同的问题需要不同的方法。表格方法适合小规模问题函数近似适合大规模问题策略梯度适合连续动作空间Q-Learning 适合离散动作空间。关键是根据问题的特点选择合适的方法而不是迷信某个算法。