早几年我刚接触深度强化学习那会儿，跟大多数人一样，一上来就盯着DQN、PPO这些带“深度”字眼的方法猛看，看完感觉挺热闹，但真正自己写代码的时候，总觉得哪里虚。后来被一个做强化学习的同学按着头回去补动态规划（Dynamic Programming），我才发现，整个强化学习体系里最值钱的思想，其实藏在最朴素的那个算法里。动态规划不需要神经网络，不需要海量样本，甚至不需要什么复杂公式，它就是把“未来”一笔一笔折现到“现在”，让你看清楚一个决策到底值多少。这篇文章我想把动态规划在深度强化学习里的位置、核心原理、代码实现，以及我自己踩过的那些坑，一次性讲清楚。适合刚开始学强化学习却直接被深度版本劝退的人，也适合那些已经能跑代码、但总感觉对数学直觉不踏实的人。如果你愿意拿出半小时，跟着我把一个4x4网格世界用动态规划跑通，后面再回头理解DQN、DDPG这些算法，会顺很多。1. 重读动态规划：为什么做深度强化学习还得回头啃它1.1 初次接触时的常见误区很多人包括我自己，第一次看到“动态规划”这四个字，脑子里全是“递归、备忘录、斐波那契数列”那套东西。确实，算法导论里的动态规划讲的是最优子结构和重叠子问题，但在强化学习的语境下，动态规划的含义要更窄、更具体：它是指在环境模型完全已知的情况下，利用贝尔曼方程迭代计算价值函数、从而优化策略的一组方法。这里有个很容易产生的误解：为了做深度强化学习，是不是可以把动态规划跳过去，反正神经网络才是主角？我一开始就是这么想的，结果发现DQN论文里的核心公式写得明明白白——目标网络的价值用r + γ max Q(s', a')来逼近，那一刻我才意识到，这个式子就是从贝尔曼最优方程里原封不动搬出来的。你如果不懂动态规划里的迭代替换和不动点思想，看那些深度强化学习算法的损失函数，只能看到一堆符号在飘，根本不知道它在干什么。1.2 动态规划的三个适用条件和它在强化学习中的定位动态规划要在强化学习里派上用场，环境必须满足三个基本条件。第一是最优子结构：整体决策的最优性可以由子决策的最优性组合而成；第二是重叠子问题：不同决策路径会反复遇到相同的“状态——价值”计算；第三是环境模型已知，也就是转移概率P(s'|s, a)和奖励R(s, a, s')都摆在明面上。前两条在几乎所有马尔可夫决策过程（MDP）里都成立，最后一条才是关键。强化学习中有一个经典分类：已知模型的办法叫“规划”，需要跟环境交互学习模型的办法叫“学习”。动态规划属于前者。它解决的是一类“完全信息下的离线优化”问题——比如你在棋盘上已经知道所有棋子的走法规则，然后想算出从每个局面出发能赢多少目；或者在自动驾驶仿真器里已知路况模型，想算出一条策略能带来多少累计奖励。真实世界里模型往往拿不到，但动态规划的价值恰恰在于，它先把“给定模型怎么求最优策略”这个核心逻辑练熟了，后面遇到无模型场景时，你只需要把“模型”替换成“从样本中学出来的经验模型”就行。1.3 预测问题与控制问题：动态规划的两个任务分支动态规划在MDP里干两件事。第一件叫策略评估，也就是求给定策略 π 下每个状态的价值函数 V_π(s)，这是“预测问题”。第二件叫策略优化，即通过价值函数反过来找最优策略 π*，这是“控制问题”。别小看这两个分类，后面很多算法都是在它们之间来回切换。拿策略迭代来说，它本身就是“评估一下当前策略的价值表，然后根据价值表改进策略，再评估、再改进”的循环。而价值迭代则更激进，把“评估到收敛”和“改进策略”两步压缩在一起。理解清楚这两个分支，你才能看懂第3章里两种算法的代码到底在循环什么。动态规划不像深度强化学习那样需要调一堆超参数，它的核心就一句话：让价值函数在贝尔曼方程的规则下自己稳定下来。2. 贝尔曼方程：把“未来”折叠进“当前值”的核心机制2.1 从全期望公式到贝尔曼递归动态规划的一切，都建立在一个简单的递归关系上：一个状态的价值，等于当前动作带来的即时奖励，再加上折扣后所有后继状态价值的期望。写成形式化表达就是：V_π(s) = Σ_a π(a|s) Σ_s' P(s'|s, a) [ R(s,a,s') + γ V_π(s') ]这个式子看起来有点繁琐，但本质上只做了一件事：把一个无穷时间序列的未来回报，折叠成一个“当前值 + 下一时刻的值”。因为有了这一刀，我们不再需要真的从当前状态一路模拟到天荒地老才能知道当前状态值多少；我们只需要知道下一拍的值，然后往回折一格。这就像你算十年后存款的总价值，不需要把每一年的收支明细从头列到尾，你只要知道下一年账户的情况，就能用“今年结余 + 下一年的贴现账户”递推出来。这个“递归代替枚举”的思想，是从动态规划到深度强化学习都贯穿始终的轴心。2.2 策略评估为什么“一遍遍扫”就能收敛我在实现策略评估时，一开始总觉得不对劲：价值函数互相依赖，每个状态的值都要用其他状态的值来算，那怎么才能算出真正的解？答案是：把贝尔曼期望方程当成一个迭代更新规则，从一个初始化值（比如全部置0）开始，反复对每个状态套用更新公式，直到整个价值表的变化量小到可以忽略。为什么这种“一遍遍扫”最终能收敛？因为折扣因子 γ 小于1时，未来奖励的权重指数级衰减，每一次迭代，误差也会以不超过γ的倍数被压缩。这就好比每次你修正自己对一个状态价值的估计，最多只修正掉剩余误差的一部分，而不会把估计完全带偏。最终误差会趋近于0。如果 γ=1 且存在可持续获得奖励的循环，收敛条件会变得非常苛刻，所以绝大多数实际场景都会让 γ 严格小于1。在实际代码里，所谓的“扫描一遍”就是遍历所有状态，把每个状态的新价值算出来，这个操作在强化学习社区里叫做“同步清扫”。第一次扫完，只有终止状态相邻的状态会被影响；第二次扫完，后两格的状态也被影响；多扫几轮，价值信号就像水波一样从奖励源向外扩散，直到铺满整个状态空间。2.3 收敛判据与停止条件的选择策略评估的循环不能永远跑下去，得有一个停下来的标准。最常用的就是“最大变化量小于阈值 θ”，也就是说，遍历完所有状态后记录下最大的价值更新幅度，当max |V_new(s) - V_old(s)| < θ时就认为收敛了。θ 通常取 1e-4 或 1e-5，太小会让循环多跑不少轮，太大又会让策略决策变得不稳定。选择收敛阈值时有个实操技巧：如果你后续还要做策略迭代，策略评估这一层其实不需要收敛到极致。策略提升只需要一个“比原来更接近真实价值”的表就够了，哪怕价值表还带一点误差，贪心策略也往往是一样的。所以我在做策略迭代时，会特意给策略评估加一个“最大迭代轮数”上限（比如50轮），防止在最内层循环里白白烧时间。这也是第6章我会再次强调的点：动态规划代码看似简单，但收敛条件设不好，同样会让人等到怀疑人生。3. 策略迭代与价值迭代：两种更新哲学的实战对比3.1 策略迭代的“评估+提升”闭环策略迭代是一个两段式循环。第一段是策略评估，用当前策略 π 把价值表 V_π 算到收敛；第二段是策略提升，对每个状态看一眼：如果我改走另一个动作，新的价值会不会比现在更高？如果更高就替换成这个动作。替换完得到新策略 π'，然后回到第一段重新评估。这里最反直觉也最漂亮的地方在于策略提升定理：只要新策略在每个状态上选择的动作，其动作价值都不低于按旧策略走一步的价值，那新策略的整体性能就不会比旧策略差。也就是说，每一步“贪心”提升都不会让事情变糟。因为最终策略只能在有限个状态动作组合里切换，所以这个过程一定会在某个策略上稳定下来，这个稳定点就是最优策略。我在调试策略迭代时遇到过一种微妙的情况：价值表还没完全收敛，提升出来的策略就已经跟收敛后提升出来的策略一样了。这说明策略的稳定往往比价值表的稳定来得更早。所以我建议在做小规模实验时，可以在策略评估尚未完全收敛时提前做策略提升，这叫“修正策略迭代”，实际收敛速度往往快得多。3.2 价值迭代的“一步贪心”逻辑价值迭代看起来更像动态规划课的经典作业：直接把策略评估里的Σ_a π(a|s)换成max_a，每一轮扫描都用“当前状态下所有动作能带来的最大价值”来更新状态值。它不显式地维护一个策略表，只有一个价值表，当价值表稳定后，再通过一次贪心取出最优策略。有人会把价值迭代理解为“只评估了一步就提升策略”，这个说法其实很到位。它牺牲了“把当前策略评估准确”的耐心，换来的是每次扫描都往最优方向大步迈进。因为最优化贝尔曼方程本身也是压缩映射，价值迭代同样保证收敛到最优价值函数。对于状态空间适中、并且主要关心最终价值表的任务，价值迭代写起来最短、最容易debug。3.3 两种算法的特点对比下面这个表格可以帮助你做选择：维度策略迭代价值迭代核心循环完整评估 + 策略提升交替直接迭代最优贝尔曼方程每轮计算量评估通常多轮，计算较大单轮单次扫描，计算较小收敛性质策略收敛前价值需接近收敛价值函数整体收敛后才稳定代码复杂度需要维护策略表并于评估/提升间切换只需要维护价值表，结构更简单适用场景状态数少、策略网络可显式表达状态数中等、只关心价值函数日常调试友好度中间过程可解释性强中间价值表会剧烈变化，需耐心我个人的习惯是：做网格世界这类小规模环境时，策略迭代能让你看清楚策略是怎么逐步改好的；做状态数量稍微大一点的任务时，价值迭代更干净。如果任务大到查表法都装不下，那就两个都不用了，只能用第五章里说的深度近似方式。4. 用一个4x4网格世界跑通：策略评估到价值迭代的完整代码4.1 环境设计与动作定义理论讲再多，不如亲手跑一遍代码。这里我选一个经典的4x4网格世界：状态是16个格子，左上角是终止状态，每次非终止移动的奖励都是-1，折扣因子 γ=1。环境没有任何随机性，动作只有上、下、左、右，越界就停留在原地。这个环境的特殊之处在于，所有格子到左上角的最短步数的相反数，就是最优价值，因此结果一跑出来你就能直观验证正误。初始阶段，我们先用等概率随机策略做策略评估，也就是每个状态下四个动作各选25%。这个随机策略本身非常差，但价值表会如实反映出“从某个状态出发，如果在左上角随机瞎走，平均要走多少步”的负期望。然后我们再用策略提升逐步把策略改成“永远朝左上角走”，价值表会从乱七八糟的随机值变成漂亮的阶梯状负数。4.2 策略评估与策略提升的代码实现下面是我的实现。注意一个关键细节：同步更新。计算新价值时，所有后继状态的价值都读取上一步的价值表副本，不能一边更新一边读取，否则就变成了异步更新，收敛轨迹会有很大差别。import numpy as np UP, DOWN, LEFT, RIGHT = 0, 1, 2, 3 ACTIONS = [UP, DOWN, LEFT, RIGHT] GRID_SIZE = 4 N_STATES = GRID_SIZE * GRID_SIZE TERMINAL_STATE = 0 GAMMA = 1.0 THETA = 1e-4 def step(state, action): i, j = divmod(state, GRID_SIZE) if state == TERMINAL_STATE: return state, 0.0, True if action == UP: i = max(i - 1, 0) elif action == DOWN: i = min(i + 1, GRID_SIZE - 1) elif action == LEFT: j = max(j - 1, 0) elif action == RIGHT: j = min(j + 1, GRID_SIZE - 1) next_state = i * GRID_SIZE + j return next_state, -1.0, False def policy_evaluation(V, policy, max_iter=1000): for _ in range(max_iter): delta = 0.0 old_V = V.copy() for s in range(N_STATES): if s == TERMINAL_STATE: continue total = 0.0 for a in ACTIONS: ns, r, done = step(s, a) total += 0.25 * (r + GAMMA * (0.0 if done else old_V[ns])) V[s] = total delta = max(delta, abs(old_V[s] - V[s])) if delta < THETA: break return V def policy_improvement(V, policy): stable = True for s in range(N_STATES): if s == TERMINAL_STATE: continue old_action = policy[s] q_values = [] for a in ACTIONS: ns, r, done = step(s, a) q_values.append(r + GAMMA * (0.0 if done else V[ns])) policy[s] = np.argmax(q_values) if policy[s] != old_action: stable = False return policy, stable # 策略迭代 V_pi = np.zeros(N_STATES) policy = np.random.randint(0, len(ACTIONS), size=N_STATES) while True: V_pi = policy_evaluation(V_pi, policy) policy, stable = policy_improvement(V_pi, policy) if stable: break print("策略迭代得到的最优价值表:") print(V_pi.reshape(GRID_SIZE, GRID_SIZE))运行之后，你会得到下面这个价值表：[[ 0. -1. -2. -3.] [-1. -2. -3. -4.] [-2. -3. -4. -5.] [-3. -4. -5. -6.]]这个结果完全符合直觉：右下角到左上角最短要走6步，所以价值是 -6；离左上角越近，负得越少。策略矩阵里每个格子都会选择往左上角方向移动的动作，也符合预期。4.3 价值迭代的实现和结果解读接下来是价值迭代，代码更短，不需要维护策略表，直接对价值表做max更新：def value_iteration(): V = np.zeros(N_STATES) while True: delta = 0.0 old_V = V.copy() for s in range(N_STATES): if s == TERMINAL_STATE: continue q_values = [] for a in ACTIONS: ns, r, done = step(s, a) q_values.append(r + GAMMA * (0.0 if done else old_V[ns])) V[s] = max(q_values) delta = max(delta, abs(old_V[s] - V[s])) if delta < THETA: break return V V_vi = value_iteration() print("价值迭代得到的最优价值表:") print(V_vi.reshape(GRID_SIZE, GRID_SIZE))跑出来的价值表和策略迭代一模一样，这也是必然的——两种算法最终都在逼近同一个最优价值函数。区别在于中间过程：策略迭代会在“评估当前策略”上花掉很多轮，而价值迭代几乎总是在状态间快速传递“最短路长度”的信息。如果你还想验证策略评估的收敛过程，可以单独跑一下随机策略的价值表，第一轮扫完只有左上角邻近的格子有变化，第二轮扩散更远，差不多十几轮后价值表就平稳了。这种“从奖励源一圈一圈外扩”的现象，就是贝尔曼方程迭代作用在网格世界上的直观体现。5. 从查表到神经网络：动态规划思想如何演化为深度强化学习5.1 动态规划的理想化假设在真实任务中失效既然动态规划这么优雅，为什么深度强化学习还是成了主角？关键在于动态规划的假设太完美：它要求知道环境的完整模型，也就是每个状态转移的概率都要提前给出来。棋盘、网格世界这种规则明确的环境可以，自动驾驶、机器人控制、牌类博弈，往往根本拿不到精确模型。而且在状态空间巨大的场景里，查表法本身就会爆炸。一个围棋棋盘的状态数量比宇宙原子还多，你不可能给每个状态分配一个格子存价值。动态规划的价值，从来就不在于它能直接解决大型现实问题，而在于它把“价值函数迭代”这个机制演示得无比清晰，深度强化学习里的各种变体，本质上都是在绕开“已知模型”和“查表不可行”这两个限制。5.2 神经网络是如何替代查表法的查表法的核心是把价值函数表示成一张大表，每个状态一个实数。当状态空间连续或高维时，这张表根本建不起来。深度强化学习的做法，是用一个神经网络V_θ(s)或Q_θ(s,a)来参数化价值函数，让同一个网络结构能够通过输入特征泛化到没见过的状态。但这里有个关键问题：神经网络不能像查表法那样直接执行“V[s] = total”的赋值更新，它只能通过梯度下降来调整参数。于是人们把贝尔曼方程换了一个身份——不再把它当成迭代规则，而是当成监督信号的来源。当前网络的预测值 Q_θ(s,a) 要逼近的目标，是r + γ max Q_target(s',a')，这个目标就来自贝尔曼最优方程。损失函数一写，梯度一算，网络参数朝着“让预测越来越贴近贝尔曼自洽”的方向更新。所以你会看到，动态规划里的max操作和γV(s')递归，在DQN里一个不差地被搬进了目标值计算。区别只是把“查表赋值”换成“梯度下降”，把“已知转移概率”换成“从经验回放缓冲区里随机采样逼近期望”。5.3 贝尔曼方程在深度算法中的延续不光是DQN，很多主流深度强化学习算法都是动态规划思想的直系后代。策略梯度类算法虽然直接优化策略网络，但计算优势函数 A(s,a) 时，依然要用价值网络来估计基线，价值网络的训练目标还是贝尔曼方程。AlphaGo一类的方法更是把策略迭代的思想发挥到极致，蒙特卡洛树搜索在里面扮演“策略提升”的角色，价值网络则负责给搜索提供快速评估。理解了这条演化链路，你就明白为什么我在第1章说动态规划绕不过去。你在阅读现代论文时看到的target_network更新、soft update、bootstrapping这些概念，全都是在贝尔曼方程这个母体上长出来的。如果母体里的不动点迭代思想不熟，看到那些工程细节只会一头雾水。6. 实操中反复踩过的坑，以及我给新手的几点建议6.1 同步更新与终止状态的边界处理代码里最容易犯的错误有两个。第一个是忘记用“上一步价值表”做同步更新。如果你不小心直接在当前价值表上原地更新，价值信号会传得更快，但收敛路径和最终结果在随机环境中可能产生微妙偏差。虽然在小网格世界里最终还是会收敛到同一张表，但我建议你养成old_V = V.copy()的习惯，这样代码的可解释性强，也方便调试。第二个是终止状态的处理。终止状态的价值永远固定为0，不能参与任何更新，也不能用它的价值来算后继价值，否则会污染整张表。很多初学动态规划的人会在遍历状态时把终止状态也带进去一起更新，导致左上角的价值变成 -1 而不是 0。这个问题我在帮别人看代码时遇到过不止一次，排查起来其实很简单：在更新循环里先判断一下状态编号是不是终止状态，是就直接跳过。6.2 折扣因子的影响与收敛阈值选择折扣因子 γ 是动态规划里最值得玩味的超参数。γ 越接近0，模型越“短视”，价值传播的距离越短，收敛也越快；γ 越接近1，模型越“远视”，会考虑到非常久远之后的奖励，但价值可能要跑很多轮才能从奖励源传播到远状态。在4x4网格世界里 γ 取1还能收敛，是因为没有正奖励循环；但如果换一个带奖励循环的环境，γ=1 可能让价值函数直接发散。收敛阈值 θ 同样需要权衡。θ 设得太小，比如 1e-8，策略评估的循环会无限逼近精确解，耗时指数上升；θ 设得太大，比如 1e-2，价值表还会带着明显误差，策略提升后得到的策略可能不够优。我的建议是先设 1e-4 跑通，然后观察价值表的变化量曲线是否平滑下降，如果下降过程中出现震荡，那多半是环境里存在随机因素，你需要先检查奖励和转移函数有没有写错。6.3 随机策略下的期望计算还有一个坑：动态规划算的是期望，不是抽样。如果你在一个随机策略下做策略评估，不能只跑一次动作step(s,a)就把结果当成Σ_a π(a|s) q(s,a)的近似值，而要把每个动作的概率乘上对应价值再求和。第四节的代码里我用0.25 *就是干这个事。最大的教训是：在确定性环境里，偷懒只抽一次样本可能看不出问题，但一旦环境换成随机的，策略评估的结果就会变成带噪声的估计，价值表收敛后依然会摆来摆去。6.4 我建议的学习路径如果你是完全的新手，我的建议是先不要碰任何带“深度”的算法。用动态规划把4x4网格世界、悬崖行走这类小环境跑透，做到两件事：能独立写出策略评估、策略迭代、价值迭代三个版本；能画出一张价值表并解释它为什么长这样。然后拿一个简单的连续控制问题学DQN，此时你会发现，DQN里最让人困惑的target network和replay buffer，其实都是在给“贝尔曼方程没法直接用查表法赋值”这个问题打补丁。我后来带团队做强化学习项目的时候，也总是先让新同学用动态规划在模拟环境里做个基线，再上深度算法。不是说动态规划能当生产级方案，而是它能帮你建立一套极其坚固的直觉：价值从哪里来，策略怎么变好，更新什么时候算稳定。有了这套直觉，之后看任何新出的深度强化学习算法，你都能一眼识别出它到底在动贝尔曼方程的哪一部分。以上这些坑，没有一个是能靠看论文看出来的，全都要自己写一遍代码才能踩到。如果你在跑动态规划代码时也遇到什么奇怪问题，大概率出在终止状态没排除、同步更新没做好、或者策略表在提升后忘了拷贝这三件事上。回头把这几个地方检查一遍，收敛基本就稳了。
早几年我刚接触深度强化学习那会儿，跟大多数人一样，一上来就盯着DQN、PPO这些带“深度”字眼的方法猛看，看完感觉挺热闹，但真正自己写代码的时候，总觉得哪里虚。后来被一个做强化学习的同学按着头回去补动态规划（Dynamic Programming），我才发现，整个强化学习体系里最值钱的思想，其实藏在最朴素的那个算法里。动态规划不需要神经网络，不需要海量样本，甚至不需要什么复杂公式，它就是把“未来”一笔一笔折现到“现在”，让你看清楚一个决策到底值多少。这篇文章我想把动态规划在深度强化学习里的位置、核心原理、代码实现，以及我自己踩过的那些坑，一次性讲清楚。适合刚开始学强化学习却直接被深度版本劝退的人，也适合那些已经能跑代码、但总感觉对数学直觉不踏实的人。如果你愿意拿出半小时，跟着我把一个4x4网格世界用动态规划跑通，后面再回头理解DQN、DDPG这些算法，会顺很多。1. 重读动态规划：为什么做深度强化学习还得回头啃它1.1 初次接触时的常见误区很多人包括我自己，第一次看到“动态规划”这四个字，脑子里全是“递归、备忘录、斐波那契数列”那套东西。确实，算法导论里的动态规划讲的是最优子结构和重叠子问题，但在强化学习的语境下，动态规划的含义要更窄、更具体：它是指在环境模型完全已知的情况下，利用贝尔曼方程迭代计算价值函数、从而优化策略的一组方法。这里有个很容易产生的误解：为了做深度强化学习，是不是可以把动态规划跳过去，反正神经网络才是主角？我一开始就是这么想的，结果发现DQN论文里的核心公式写得明明白白——目标网络的价值用r + γ max Q(s', a')来逼近，那一刻我才意识到，这个式子就是从贝尔曼最优方程里原封不动搬出来的。你如果不懂动态规划里的迭代替换和不动点思想，看那些深度强化学习算法的损失函数，只能看到一堆符号在飘，根本不知道它在干什么。1.2 动态规划的三个适用条件和它在强化学习中的定位动态规划要在强化学习里派上用场，环境必须满足三个基本条件。第一是最优子结构：整体决策的最优性可以由子决策的最优性组合而成；第二是重叠子问题：不同决策路径会反复遇到相同的“状态——价值”计算；第三是环境模型已知，也就是转移概率P(s'|s, a)和奖励R(s, a, s')都摆在明面上。前两条在几乎所有马尔可夫决策过程（MDP）里都成立，最后一条才是关键。强化学习中有一个经典分类：已知模型的办法叫“规划”，需要跟环境交互学习模型的办法叫“学习”。动态规划属于前者。它解决的是一类“完全信息下的离线优化”问题——比如你在棋盘上已经知道所有棋子的走法规则，然后想算出从每个局面出发能赢多少目；或者在自动驾驶仿真器里已知路况模型，想算出一条策略能带来多少累计奖励。真实世界里模型往往拿不到，但动态规划的价值恰恰在于，它先把“给定模型怎么求最优策略”这个核心逻辑练熟了，后面遇到无模型场景时，你只需要把“模型”替换成“从样本中学出来的经验模型”就行。1.3 预测问题与控制问题：动态规划的两个任务分支动态规划在MDP里干两件事。第一件叫策略评估，也就是求给定策略 π 下每个状态的价值函数 V_π(s)，这是“预测问题”。第二件叫策略优化，即通过价值函数反过来找最优策略 π*，这是“控制问题”。别小看这两个分类，后面很多算法都是在它们之间来回切换。拿策略迭代来说，它本身就是“评估一下当前策略的价值表，然后根据价值表改进策略，再评估、再改进”的循环。而价值迭代则更激进，把“评估到收敛”和“改进策略”两步压缩在一起。理解清楚这两个分支，你才能看懂第3章里两种算法的代码到底在循环什么。动态规划不像深度强化学习那样需要调一堆超参数，它的核心就一句话：让价值函数在贝尔曼方程的规则下自己稳定下来。2. 贝尔曼方程：把“未来”折叠进“当前值”的核心机制2.1 从全期望公式到贝尔曼递归动态规划的一切，都建立在一个简单的递归关系上：一个状态的价值，等于当前动作带来的即时奖励，再加上折扣后所有后继状态价值的期望。写成形式化表达就是：V_π(s) = Σ_a π(a|s) Σ_s' P(s'|s, a) [ R(s,a,s') + γ V_π(s') ]这个式子看起来有点繁琐，但本质上只做了一件事：把一个无穷时间序列的未来回报，折叠成一个“当前值 + 下一时刻的值”。因为有了这一刀，我们不再需要真的从当前状态一路模拟到天荒地老才能知道当前状态值多少；我们只需要知道下一拍的值，然后往回折一格。这就像你算十年后存款的总价值，不需要把每一年的收支明细从头列到尾，你只要知道下一年账户的情况，就能用“今年结余 + 下一年的贴现账户”递推出来。这个“递归代替枚举”的思想，是从动态规划到深度强化学习都贯穿始终的轴心。2.2 策略评估为什么“一遍遍扫”就能收敛我在实现策略评估时，一开始总觉得不对劲：价值函数互相依赖，每个状态的值都要用其他状态的值来算，那怎么才能算出真正的解？答案是：把贝尔曼期望方程当成一个迭代更新规则，从一个初始化值（比如全部置0）开始，反复对每个状态套用更新公式，直到整个价值表的变化量小到可以忽略。为什么这种“一遍遍扫”最终能收敛？因为折扣因子 γ 小于1时，未来奖励的权重指数级衰减，每一次迭代，误差也会以不超过γ的倍数被压缩。这就好比每次你修正自己对一个状态价值的估计，最多只修正掉剩余误差的一部分，而不会把估计完全带偏。最终误差会趋近于0。如果 γ=1 且存在可持续获得奖励的循环，收敛条件会变得非常苛刻，所以绝大多数实际场景都会让 γ 严格小于1。在实际代码里，所谓的“扫描一遍”就是遍历所有状态，把每个状态的新价值算出来，这个操作在强化学习社区里叫做“同步清扫”。第一次扫完，只有终止状态相邻的状态会被影响；第二次扫完，后两格的状态也被影响；多扫几轮，价值信号就像水波一样从奖励源向外扩散，直到铺满整个状态空间。2.3 收敛判据与停止条件的选择策略评估的循环不能永远跑下去，得有一个停下来的标准。最常用的就是“最大变化量小于阈值 θ”，也就是说，遍历完所有状态后记录下最大的价值更新幅度，当max |V_new(s) - V_old(s)| < θ时就认为收敛了。θ 通常取 1e-4 或 1e-5，太小会让循环多跑不少轮，太大又会让策略决策变得不稳定。选择收敛阈值时有个实操技巧：如果你后续还要做策略迭代，策略评估这一层其实不需要收敛到极致。策略提升只需要一个“比原来更接近真实价值”的表就够了，哪怕价值表还带一点误差，贪心策略也往往是一样的。所以我在做策略迭代时，会特意给策略评估加一个“最大迭代轮数”上限（比如50轮），防止在最内层循环里白白烧时间。这也是第6章我会再次强调的点：动态规划代码看似简单，但收敛条件设不好，同样会让人等到怀疑人生。3. 策略迭代与价值迭代：两种更新哲学的实战对比3.1 策略迭代的“评估+提升”闭环策略迭代是一个两段式循环。第一段是策略评估，用当前策略 π 把价值表 V_π 算到收敛；第二段是策略提升，对每个状态看一眼：如果我改走另一个动作，新的价值会不会比现在更高？如果更高就替换成这个动作。替换完得到新策略 π'，然后回到第一段重新评估。这里最反直觉也最漂亮的地方在于策略提升定理：只要新策略在每个状态上选择的动作，其动作价值都不低于按旧策略走一步的价值，那新策略的整体性能就不会比旧策略差。也就是说，每一步“贪心”提升都不会让事情变糟。因为最终策略只能在有限个状态动作组合里切换，所以这个过程一定会在某个策略上稳定下来，这个稳定点就是最优策略。我在调试策略迭代时遇到过一种微妙的情况：价值表还没完全收敛，提升出来的策略就已经跟收敛后提升出来的策略一样了。这说明策略的稳定往往比价值表的稳定来得更早。所以我建议在做小规模实验时，可以在策略评估尚未完全收敛时提前做策略提升，这叫“修正策略迭代”，实际收敛速度往往快得多。3.2 价值迭代的“一步贪心”逻辑价值迭代看起来更像动态规划课的经典作业：直接把策略评估里的Σ_a π(a|s)换成max_a，每一轮扫描都用“当前状态下所有动作能带来的最大价值”来更新状态值。它不显式地维护一个策略表，只有一个价值表，当价值表稳定后，再通过一次贪心取出最优策略。有人会把价值迭代理解为“只评估了一步就提升策略”，这个说法其实很到位。它牺牲了“把当前策略评估准确”的耐心，换来的是每次扫描都往最优方向大步迈进。因为最优化贝尔曼方程本身也是压缩映射，价值迭代同样保证收敛到最优价值函数。对于状态空间适中、并且主要关心最终价值表的任务，价值迭代写起来最短、最容易debug。3.3 两种算法的特点对比下面这个表格可以帮助你做选择：维度策略迭代价值迭代核心循环完整评估 + 策略提升交替直接迭代最优贝尔曼方程每轮计算量评估通常多轮，计算较大单轮单次扫描，计算较小收敛性质策略收敛前价值需接近收敛价值函数整体收敛后才稳定代码复杂度需要维护策略表并于评估/提升间切换只需要维护价值表，结构更简单适用场景状态数少、策略网络可显式表达状态数中等、只关心价值函数日常调试友好度中间过程可解释性强中间价值表会剧烈变化，需耐心我个人的习惯是：做网格世界这类小规模环境时，策略迭代能让你看清楚策略是怎么逐步改好的；做状态数量稍微大一点的任务时，价值迭代更干净。如果任务大到查表法都装不下，那就两个都不用了，只能用第五章里说的深度近似方式。4. 用一个4x4网格世界跑通：策略评估到价值迭代的完整代码4.1 环境设计与动作定义理论讲再多，不如亲手跑一遍代码。这里我选一个经典的4x4网格世界：状态是16个格子，左上角是终止状态，每次非终止移动的奖励都是-1，折扣因子 γ=1。环境没有任何随机性，动作只有上、下、左、右，越界就停留在原地。这个环境的特殊之处在于，所有格子到左上角的最短步数的相反数，就是最优价值，因此结果一跑出来你就能直观验证正误。初始阶段，我们先用等概率随机策略做策略评估，也就是每个状态下四个动作各选25%。这个随机策略本身非常差，但价值表会如实反映出“从某个状态出发，如果在左上角随机瞎走，平均要走多少步”的负期望。然后我们再用策略提升逐步把策略改成“永远朝左上角走”，价值表会从乱七八糟的随机值变成漂亮的阶梯状负数。4.2 策略评估与策略提升的代码实现下面是我的实现。注意一个关键细节：同步更新。计算新价值时，所有后继状态的价值都读取上一步的价值表副本，不能一边更新一边读取，否则就变成了异步更新，收敛轨迹会有很大差别。import numpy as np UP, DOWN, LEFT, RIGHT = 0, 1, 2, 3 ACTIONS = [UP, DOWN, LEFT, RIGHT] GRID_SIZE = 4 N_STATES = GRID_SIZE * GRID_SIZE TERMINAL_STATE = 0 GAMMA = 1.0 THETA = 1e-4 def step(state, action): i, j = divmod(state, GRID_SIZE) if state == TERMINAL_STATE: return state, 0.0, True if action == UP: i = max(i - 1, 0) elif action == DOWN: i = min(i + 1, GRID_SIZE - 1) elif action == LEFT: j = max(j - 1, 0) elif action == RIGHT: j = min(j + 1, GRID_SIZE - 1) next_state = i * GRID_SIZE + j return next_state, -1.0, False def policy_evaluation(V, policy, max_iter=1000): for _ in range(max_iter): delta = 0.0 old_V = V.copy() for s in range(N_STATES): if s == TERMINAL_STATE: continue total = 0.0 for a in ACTIONS: ns, r, done = step(s, a) total += 0.25 * (r + GAMMA * (0.0 if done else old_V[ns])) V[s] = total delta = max(delta, abs(old_V[s] - V[s])) if delta < THETA: break return V def policy_improvement(V, policy): stable = True for s in range(N_STATES): if s == TERMINAL_STATE: continue old_action = policy[s] q_values = [] for a in ACTIONS: ns, r, done = step(s, a) q_values.append(r + GAMMA * (0.0 if done else V[ns])) policy[s] = np.argmax(q_values) if policy[s] != old_action: stable = False return policy, stable # 策略迭代 V_pi = np.zeros(N_STATES) policy = np.random.randint(0, len(ACTIONS), size=N_STATES) while True: V_pi = policy_evaluation(V_pi, policy) policy, stable = policy_improvement(V_pi, policy) if stable: break print("策略迭代得到的最优价值表:") print(V_pi.reshape(GRID_SIZE, GRID_SIZE))运行之后，你会得到下面这个价值表：[[ 0. -1. -2. -3.] [-1. -2. -3. -4.] [-2. -3. -4. -5.] [-3. -4. -5. -6.]]这个结果完全符合直觉：右下角到左上角最短要走6步，所以价值是 -6；离左上角越近，负得越少。策略矩阵里每个格子都会选择往左上角方向移动的动作，也符合预期。4.3 价值迭代的实现和结果解读接下来是价值迭代，代码更短，不需要维护策略表，直接对价值表做max更新：def value_iteration(): V = np.zeros(N_STATES) while True: delta = 0.0 old_V = V.copy() for s in range(N_STATES): if s == TERMINAL_STATE: continue q_values = [] for a in ACTIONS: ns, r, done = step(s, a) q_values.append(r + GAMMA * (0.0 if done else old_V[ns])) V[s] = max(q_values) delta = max(delta, abs(old_V[s] - V[s])) if delta < THETA: break return V V_vi = value_iteration() print("价值迭代得到的最优价值表:") print(V_vi.reshape(GRID_SIZE, GRID_SIZE))跑出来的价值表和策略迭代一模一样，这也是必然的——两种算法最终都在逼近同一个最优价值函数。区别在于中间过程：策略迭代会在“评估当前策略”上花掉很多轮，而价值迭代几乎总是在状态间快速传递“最短路长度”的信息。如果你还想验证策略评估的收敛过程，可以单独跑一下随机策略的价值表，第一轮扫完只有左上角邻近的格子有变化，第二轮扩散更远，差不多十几轮后价值表就平稳了。这种“从奖励源一圈一圈外扩”的现象，就是贝尔曼方程迭代作用在网格世界上的直观体现。5. 从查表到神经网络：动态规划思想如何演化为深度强化学习5.1 动态规划的理想化假设在真实任务中失效既然动态规划这么优雅，为什么深度强化学习还是成了主角？关键在于动态规划的假设太完美：它要求知道环境的完整模型，也就是每个状态转移的概率都要提前给出来。棋盘、网格世界这种规则明确的环境可以，自动驾驶、机器人控制、牌类博弈，往往根本拿不到精确模型。而且在状态空间巨大的场景里，查表法本身就会爆炸。一个围棋棋盘的状态数量比宇宙原子还多，你不可能给每个状态分配一个格子存价值。动态规划的价值，从来就不在于它能直接解决大型现实问题，而在于它把“价值函数迭代”这个机制演示得无比清晰，深度强化学习里的各种变体，本质上都是在绕开“已知模型”和“查表不可行”这两个限制。5.2 神经网络是如何替代查表法的查表法的核心是把价值函数表示成一张大表，每个状态一个实数。当状态空间连续或高维时，这张表根本建不起来。深度强化学习的做法，是用一个神经网络V_θ(s)或Q_θ(s,a)来参数化价值函数，让同一个网络结构能够通过输入特征泛化到没见过的状态。但这里有个关键问题：神经网络不能像查表法那样直接执行“V[s] = total”的赋值更新，它只能通过梯度下降来调整参数。于是人们把贝尔曼方程换了一个身份——不再把它当成迭代规则，而是当成监督信号的来源。当前网络的预测值 Q_θ(s,a) 要逼近的目标，是r + γ max Q_target(s',a')，这个目标就来自贝尔曼最优方程。损失函数一写，梯度一算，网络参数朝着“让预测越来越贴近贝尔曼自洽”的方向更新。所以你会看到，动态规划里的max操作和γV(s')递归，在DQN里一个不差地被搬进了目标值计算。区别只是把“查表赋值”换成“梯度下降”，把“已知转移概率”换成“从经验回放缓冲区里随机采样逼近期望”。5.3 贝尔曼方程在深度算法中的延续不光是DQN，很多主流深度强化学习算法都是动态规划思想的直系后代。策略梯度类算法虽然直接优化策略网络，但计算优势函数 A(s,a) 时，依然要用价值网络来估计基线，价值网络的训练目标还是贝尔曼方程。AlphaGo一类的方法更是把策略迭代的思想发挥到极致，蒙特卡洛树搜索在里面扮演“策略提升”的角色，价值网络则负责给搜索提供快速评估。理解了这条演化链路，你就明白为什么我在第1章说动态规划绕不过去。你在阅读现代论文时看到的target_network更新、soft update、bootstrapping这些概念，全都是在贝尔曼方程这个母体上长出来的。如果母体里的不动点迭代思想不熟，看到那些工程细节只会一头雾水。6. 实操中反复踩过的坑，以及我给新手的几点建议6.1 同步更新与终止状态的边界处理代码里最容易犯的错误有两个。第一个是忘记用“上一步价值表”做同步更新。如果你不小心直接在当前价值表上原地更新，价值信号会传得更快，但收敛路径和最终结果在随机环境中可能产生微妙偏差。虽然在小网格世界里最终还是会收敛到同一张表，但我建议你养成old_V = V.copy()的习惯，这样代码的可解释性强，也方便调试。第二个是终止状态的处理。终止状态的价值永远固定为0，不能参与任何更新，也不能用它的价值来算后继价值，否则会污染整张表。很多初学动态规划的人会在遍历状态时把终止状态也带进去一起更新，导致左上角的价值变成 -1 而不是 0。这个问题我在帮别人看代码时遇到过不止一次，排查起来其实很简单：在更新循环里先判断一下状态编号是不是终止状态，是就直接跳过。6.2 折扣因子的影响与收敛阈值选择折扣因子 γ 是动态规划里最值得玩味的超参数。γ 越接近0，模型越“短视”，价值传播的距离越短，收敛也越快；γ 越接近1，模型越“远视”，会考虑到非常久远之后的奖励，但价值可能要跑很多轮才能从奖励源传播到远状态。在4x4网格世界里 γ 取1还能收敛，是因为没有正奖励循环；但如果换一个带奖励循环的环境，γ=1 可能让价值函数直接发散。收敛阈值 θ 同样需要权衡。θ 设得太小，比如 1e-8，策略评估的循环会无限逼近精确解，耗时指数上升；θ 设得太大，比如 1e-2，价值表还会带着明显误差，策略提升后得到的策略可能不够优。我的建议是先设 1e-4 跑通，然后观察价值表的变化量曲线是否平滑下降，如果下降过程中出现震荡，那多半是环境里存在随机因素，你需要先检查奖励和转移函数有没有写错。6.3 随机策略下的期望计算还有一个坑：动态规划算的是期望，不是抽样。如果你在一个随机策略下做策略评估，不能只跑一次动作step(s,a)就把结果当成Σ_a π(a|s) q(s,a)的近似值，而要把每个动作的概率乘上对应价值再求和。第四节的代码里我用0.25 *就是干这个事。最大的教训是：在确定性环境里，偷懒只抽一次样本可能看不出问题，但一旦环境换成随机的，策略评估的结果就会变成带噪声的估计，价值表收敛后依然会摆来摆去。6.4 我建议的学习路径如果你是完全的新手，我的建议是先不要碰任何带“深度”的算法。用动态规划把4x4网格世界、悬崖行走这类小环境跑透，做到两件事：能独立写出策略评估、策略迭代、价值迭代三个版本；能画出一张价值表并解释它为什么长这样。然后拿一个简单的连续控制问题学DQN，此时你会发现，DQN里最让人困惑的target network和replay buffer，其实都是在给“贝尔曼方程没法直接用查表法赋值”这个问题打补丁。我后来带团队做强化学习项目的时候，也总是先让新同学用动态规划在模拟环境里做个基线，再上深度算法。不是说动态规划能当生产级方案，而是它能帮你建立一套极其坚固的直觉：价值从哪里来，策略怎么变好，更新什么时候算稳定。有了这套直觉，之后看任何新出的深度强化学习算法，你都能一眼识别出它到底在动贝尔曼方程的哪一部分。以上这些坑，没有一个是能靠看论文看出来的，全都要自己写一遍代码才能踩到。如果你在跑动态规划代码时也遇到什么奇怪问题，大概率出在终止状态没排除、同步更新没做好、或者策略表在提升后忘了拷贝这三件事上。回头把这几个地方检查一遍，收敛基本就稳了。