1. 项目概述从“策略梯度”到“演员-评论家”的认知跃迁在强化学习的探索之路上我们走过了基础概念与价值迭代的平原现在即将踏入一片更为崎岖但也更具创造力的高地。如果说前两篇笔记是学习如何“评价”一个动作的好坏价值函数那么“强化学习三”的核心就是学习如何“生成”一个好的动作策略。这标志着我们从“评论家”转向了“演员”从被动评估转向主动决策。很多朋友在学完Q-Learning、DQN后面对策略梯度Policy Gradient和演员-评论家Actor-Critic框架时会感到一阵迷茫公式变复杂了训练似乎更不稳定了它到底强在哪里今天我就结合自己调参踩坑的经验把这部分内容掰开揉碎讲清楚我们为什么要走这条路以及如何稳健地走下去。无论你是想自己手搓一个玩游戏的AI还是理解前沿大模型背后的决策逻辑掌握策略优化方法都是不可或缺的一环。2. 核心思路解析为什么我们不再只依赖价值函数在深度Q网络DQN中智能体通过一个价值网络来评估在某个状态下每个动作的长期收益Q值然后选择Q值最大的动作。这个方法在离散动作空间比如上下左右中表现卓越。然而它存在几个根本性的瓶颈正是这些瓶颈催生了策略梯度方法的诞生。2.1 离散与连续动作空间的天堑想象一下你要控制一个机器人手臂去抓取杯子。手臂的动作是连续的关节的角度可以是从0度到180度之间的任意值。DQN的做法是为每一个可能的角度比如0.1度, 0.2度...都计算一个Q值然后选最大的。这显然不现实因为可能性是无限的。这就是连续动作空间问题。策略梯度方法直接输出一个动作的概率分布例如高斯分布的均值和方差智能体从这个分布中采样得到具体动作从而天然支持连续控制。注意即使对于离散动作比如游戏中的几个技能当动作数量非常多时例如某些策略游戏有上百个技能组合计算所有动作的Q值也会带来巨大的计算开销。策略梯度方法通过直接优化策略避免了这种穷举式的评估。2.2 探索与利用的固有矛盾DQN采用ε-greedy策略进行探索大部分时间选择最优动作利用小部分时间随机选择动作探索。在连续空间这种“随机”探索效率极低因为它可能尝试一些明显很差的动作。策略梯度方法则不同其策略本身是一个概率分布。初期这个分布方差较大智能体会进行广泛的探索随着学习分布逐渐收紧方差变小聚焦于高回报区域。这种探索是定向的、渐进的更符合学习规律。2.3 策略梯度绕开最大值直接优化目标DQN的核心是优化Q值估计的准确性通过最小化时序差分误差期望准确的Q值能引导出最优策略。这是一个“曲线救国”的方案。策略梯度则更加直接我们最终关心的是策略π(θ)的性能即期望总回报J(θ)。那么何不直接通过梯度上升来优化J(θ)呢策略梯度定理给出了一个漂亮的结果性能指标J(θ)关于参数θ的梯度可以通过采样轨迹来无偏估计。公式虽然看起来复杂但其直觉非常清晰增加高回报轨迹出现的概率减少低回报轨迹出现的概率。智能体通过实际尝试采样获得反馈回报然后调整策略参数使得产生高回报动作的概率增大。3. 核心细节解析策略梯度与Actor-Critic的共生关系理解了“为什么”之后我们来看“是什么”。策略梯度是基石Actor-Critic是在此基础上引入“评论家”来降低方差、加速收敛的工程优化。3.1 策略梯度REINFORCE的朴素实现最基础的策略梯度算法是REINFORCE。它的流程非常直观采样用当前策略π(θ)与环境交互生成一条完整的轨迹s0, a0, r1, s1, a1, r2, ...。计算回报从轨迹的每一步开始计算未来累积折扣回报G_t。估计梯度对于轨迹中的每一步s_t, a_t计算梯度∇θ log π(a_t|s_t; θ) * G_t。这里的log π(a_t|s_t; θ)是动作的对数概率G_t是衡量该动作好坏的标尺。更新策略将所有步的梯度求和进行梯度上升更新。实操心得REINFORCE虽然简单但方差Variance极大。因为G_t是从一次采样中得到的可能运气好轨迹回报高也可能运气差回报低这个噪声会传导给梯度导致训练极其不稳定收敛缓慢。我在早期实验中经常看到智能体的表现“上蹿下跳”就是高方差所致。3.2 引入基线Baseline一个简单的方差削减技巧一个直观的改进是我们并不关心回报的绝对值而是关心它相对于“平均表现”的好坏。因此我们可以从G_t中减去一个基线b(s_t)通常取值为状态价值函数V(s_t)的估计。梯度变为∇θ log π(a_t|s_t; θ) * (G_t - b(s_t))。(G_t - b(s_t))可以理解为“优势函数”Advantage FunctionA(s_t, a_t)的估计表示动作a_t比平均动作好多少。减去基线后梯度估计的方差显著降低。3.3 Actor-Critic框架分工协作的典范既然我们用到了价值函数V(s)作为基线何不把它学得更准确一点于是Actor-Critic框架应运而生。它包含两个核心组件演员Actor即策略网络π(a|s; θ)负责根据状态生成动作。它接受“评论家”的评价来更新自己。评论家Critic即价值网络V(s; w)负责评估状态或状态-动作对的价值。它通过时序差分TD误差来学习就像DQN一样。两者的协作流程形成了一个优美的闭环演员根据当前状态s_t输出动作a_t或动作分布。环境执行a_t转移到s_{t1}给出奖励r_{t1}。评论家评估s_t和s_{t1}的价值V(s_t)和V(s_{t1})。计算TD误差δ_t r_{t1} γ * V(s_{t1}) - V(s_t)。这个δ_t就是优势函数A(s_t, a_t)的一个低方差估计。更新评论家以最小化δ_t的平方为目标更新价值网络参数w。这相当于让评论家更准确地预测回报。更新演员使用梯度∇θ log π(a_t|s_t; θ) * δ_t来更新策略网络参数θ。如果δ_t为正说明这个动作比预期好就增加其概率反之则减少。提示这里的δ_t替代了REINFORCE中的(G_t - b(s_t))。由于δ_t基于单步奖励和下一个状态的估计而非整条轨迹的回报其方差大大降低使得Actor-Critic的训练比REINFORCE稳定得多。4. 实操过程构建一个简单的连续控制Actor-Critic模型理论需要落地。我们以经典的Pendulum-v1环境钟摆立起任务为例构建一个处理连续动作空间的Actor-Critic模型。这个环境的动作是施加在钟摆上的力矩范围是[-2.0, 2.0]。4.1 网络结构设计演员网络Actor 输入是状态例如钟摆的角度、角速度输出是一个高斯分布的参数。通常我们输出均值μ和对数标准差log_std。使用对数标准差是为了保证标准差永远是正数。import torch import torch.nn as nn import torch.nn.functional as F class ActorNetwork(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim256): super(ActorNetwork, self).__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.mu_head nn.Linear(hidden_dim, action_dim) # 输出均值 self.log_std_head nn.Linear(hidden_dim, action_dim) # 输出对数标准差 def forward(self, state): x F.relu(self.fc1(state)) x F.relu(self.fc2(x)) mu torch.tanh(self.mu_head(x)) * 2.0 # 映射到[-2, 2]的动作范围 log_std self.log_std_head(x) log_std torch.clamp(log_std, min-20, max2) # 防止标准差过大或过小 std torch.exp(log_std) return mu, std评论家网络Critic 输入是状态输出是该状态的标量价值V(s)。class CriticNetwork(nn.Module): def __init__(self, state_dim, hidden_dim256): super(CriticNetwork, self).__init__() self.fc1 nn.Linear(state_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, hidden_dim) self.value_head nn.Linear(hidden_dim, 1) def forward(self, state): x F.relu(self.fc1(state)) x F.relu(self.fc2(x)) value self.value_head(x) return value4.2 动作采样与对数概率计算这是策略梯度实现中的关键数学细节。给定均值和标准差我们如何采样并计算该动作的对数概率class Actor: def __init__(self, network): self.network network def act(self, state): state torch.FloatTensor(state).unsqueeze(0) mu, std self.network(state) dist torch.distributions.Normal(mu, std) # 构建正态分布 action dist.rsample() # 使用rsample()支持重参数化技巧便于反向传播 action torch.tanh(action) # 如果环境要求动作在[-1,1]可再加一层tanh log_prob dist.log_prob(action).sum(dim-1) # 计算对数概率对多维度动作求和 return action.detach().numpy().flatten(), log_prob def evaluate(self, state, action): mu, std self.network(state) dist torch.distributions.Normal(mu, std) log_prob dist.log_prob(action).sum(dim-1) entropy dist.entropy().sum(dim-1) # 熵可用于鼓励探索 return log_prob, entropy为什么用rsample()和log_prob这是“重参数化技巧”Reparameterization Trick的核心。直接从分布中采样sample()是一个随机操作梯度无法回传。rsample()将随机性转移到一个独立的噪声变量上使得采样操作可微。log_prob则是策略梯度公式中∇θ log π(a|s)的计算基础。4.3 训练循环与核心更新逻辑我们采用在线更新的方式即每一步交互后都进行更新类似于SARSA风格。def update(self, state, action, reward, next_state, done): state torch.FloatTensor(state).unsqueeze(0) next_state torch.FloatTensor(next_state).unsqueeze(0) action torch.FloatTensor(action).unsqueeze(0) reward torch.FloatTensor([reward]) # 1. 更新评论家 (Critic) current_value self.critic(state) next_value self.critic(next_state) target_value reward self.gamma * next_value * (1 - done) td_error target_value - current_value critic_loss F.mse_loss(current_value, target_value.detach()) # 目标值不参与梯度计算 self.critic_optimizer.zero_grad() critic_loss.backward() # 可以添加梯度裁剪防止爆炸 torch.nn.utils.clip_grad_norm_(self.critic.parameters(), max_norm0.5) self.critic_optimizer.step() # 2. 更新演员 (Actor) log_prob, entropy self.actor.evaluate(state, action) # 使用刚更新过的评论家计算新的TD误差作为优势估计 with torch.no_grad(): current_value_new self.critic(state) next_value_new self.critic(next_state) target_value_new reward self.gamma * next_value_new * (1 - done) td_error_new target_value_new - current_value_new actor_loss - (log_prob * td_error_new.detach()).mean() # 梯度上升所以是负号 # 可以加入熵正则项鼓励探索 actor_loss - self.entropy_coef * entropy.mean() self.actor_optimizer.zero_grad() actor_loss.backward() torch.nn.utils.clip_grad_norm_(self.actor.parameters(), max_norm0.5) self.actor_optimizer.step()参数选择与技巧折扣因子γ通常设为0.99让智能体更关注长期回报。学习率演员的学习率通常比评论家小一个数量级例如演员3e-4评论家1e-3因为策略更新比价值估计更敏感。梯度裁剪对Actor和Critic网络的梯度进行裁剪如max_norm0.5是稳定训练的关键能防止因个别大的TD误差导致策略突变。熵正则项在actor_loss中加入熵的负加权-β * entropy可以显式地鼓励探索防止策略过早收敛到次优解。系数β需要仔细调整通常从0.01开始尝试。5. 高级技巧与演进从A2C到PPO基础的Actor-Critic有时也叫A2CAdvantage Actor-Critic已经比REINFORCE强很多但在复杂环境中仍面临挑战主要是策略更新步长难以确定。步长太大一次糟糕的更新可能让策略性能崩溃且难以恢复灾难性遗忘步长太小学习速度太慢。5.1 信赖域与自然策略梯度TRPOTRPO的核心思想是在更新策略时要求新旧策略之间的KL散度一种分布差异度量不超过一个阈值δ。这相当于为策略更新划定了一个“信赖域”保证新策略不会偏离旧策略太远。其优化目标复杂需要计算费舍尔信息矩阵FIM或其近似实现起来比较繁琐。5.2 近端策略优化PPO工程实践的胜利PPO是TRPO的一个高效近似它通过一个简单的裁剪Clipping目标函数就达到了约束策略更新幅度的目的成为当前最流行的策略梯度算法。其目标函数如下L(θ) E_t [ min( ratio_t * A_t, clip(ratio_t, 1-ε, 1ε) * A_t ) ]其中ratio_t π_θ(a_t|s_t) / π_θ_old(a_t|s_t)是新旧策略概率比。A_t是优势函数估计。这个公式如何工作当A_t 0动作好时我们希望增加π_θ(a_t|s_t)即让ratio_t增大。但min函数的第一项ratio_t * A_t会无限制增大而第二项clip(ratio_t, 1-ε, 1ε) * A_t将ratio_t限制在[1-ε, 1ε]内。最终取两者最小值意味着如果ratio_t想超过1ε目标函数值会被后者限制住从而阻止策略过大的更新。当A_t 0动作差时我们希望减少π_θ(a_t|s_t)即让ratio_t减小。同样clip操作会阻止ratio_t小于1-ε避免策略对该动作的概率降得过低。实操心得PPO的超参数ε通常取0.1~0.2非常关键。它直接控制了策略更新的“信任区间”。ε太小策略更新过于保守学习慢ε太大约束力弱可能不稳定。我通常从0.2开始如果训练不稳定回报曲线剧烈震荡就适当调小。5.3 优势函数估计的优化无论是A2C还是PPO优势函数A_t的估计质量都至关重要。最简单的就是用TD误差δ_t。更常用的方法是广义优势估计GAE它是对多步TD误差的指数加权平均在偏差和方差之间取得了更好的平衡。A_t^GAE Σ (γλ)^l * δ_{tl} 其中λ是[0,1]之间的参数。λ0时退化为单步TD误差高偏差低方差λ1时退化为蒙特卡洛回报低偏差高方差。通常λ取0.95~0.99。在实现PPO时结合GAE是标准操作能显著提升样本效率和最终性能。6. 常见问题与排查技巧实录在实际训练中你会遇到各种各样的问题。下面是我总结的一些典型症状和排查思路。6.1 回报不上升智能体“摆烂”症状训练多个回合后累计回报始终在很低水平徘徊没有增长趋势。排查检查奖励设计首先确认环境奖励是否合理。是否奖励稀疏正向奖励是否太难获取尝试在关键子任务上设置稀疏奖励Dense Reward。检查探索智能体是否被困在局部最优增加熵正则项的系数β或适当增大策略网络输出动作分布的初始标准差。检查网络容量状态是否被正确编码Actor和Critic网络是否足够深/宽以拟合复杂函数尝试增加隐藏层神经元数量。检查优势估计Critic网络是否训练正常观察Critic Loss是否在下降。如果Critic学得不好给Actor提供的优势信号就是错误的。可以暂时调大Critic的学习率或先让Critic单独预训练几轮。6.2 训练不稳定回报曲线“上蹿下跳”症状回报曲线出现剧烈的峰值和谷值没有平滑上升的趋势。排查梯度裁剪这是首要检查项。确保对Actor和Critic的梯度都进行了裁剪clip_grad_norm_。最大范数通常设在0.5到1.0之间。学习率过高特别是Actor的学习率。尝试将其降低例如从3e-4降到1e-4。PPO的ε参数如果使用PPOε可能设得太大。尝试减小ε例如从0.3降到0.15。批次大小Batch Size如果使用经验回放池进行小批量更新批次大小不宜过小。过小的批次会导致梯度估计噪声大。尝试增大批次大小如从64增到256或512。6.3 Critic Loss下降但Actor Loss不降或为NaN症状Critic网络似乎学得很好Loss稳步下降但Actor的Loss不下降甚至变成NaN。排查数值不稳定检查策略网络输出的对数标准差log_std。如果log_std变得非常小导致std接近0或非常大在计算对数概率log_prob时会出现数值问题。这就是为什么在Actor网络中对log_std进行clamp操作例如限制在[-20, 2]至关重要。概率比ratio爆炸在PPO中如果新旧策略差异突然变得极大ratio_t可能接近0或无穷大导致计算溢出。确保在计算ratio时对新旧策略的概率都加上一个极小值eps1e-8防止除零并检查clip操作是否生效。优势值尺度如果优势函数A_t的绝对值过大会导致梯度爆炸。可以考虑对每批样本的优势函数进行标准化减去均值除以标准差使其均值为0方差为1。这是一个非常有效的稳定化技巧。6.4 智能体表现达到平台期后无法突破症状回报上升到一定水平后长时间不再提高。排查探索衰减熵正则项系数β可能随着训练衰减得太快导致策略过早确定性化停止探索。可以尝试使用一个衰减计划让β随着训练步数缓慢衰减而不是固定不变。网络表达能力当前网络结构可能已无法表征更优的策略。考虑使用更深的网络或引入注意力机制等更复杂的结构。算法瓶颈基础的在线Actor-Critic或PPO可能样本效率不够高。可以考虑切换到更先进的算法如使用经验回放的SACSoft Actor-Critic特别适合连续控制或分布式训练框架如IMPALA。为了便于快速诊断我将上述常见问题及应对策略整理成下表症状可能原因排查与解决方向回报不上升1. 奖励设计不合理2. 探索不足3. 网络容量不足4. Critic学得差1. 重塑奖励函数2. 增大熵系数β或初始探索噪声3. 增加网络层数/宽度4. 检查Critic学习率、单独预训练Critic训练不稳定1. 梯度爆炸2. Actor学习率过高3. PPO中ε太大4. 批次大小太小1. 添加梯度裁剪norm0.5~1.02. 降低Actor学习率如3e-4 - 1e-43. 减小PPO的ε如0.3 - 0.154. 增大批次大小64 - 256Actor Loss异常1. 数值计算溢出log_std2. PPO概率比异常3. 优势值尺度太大1. 对log_std输出进行clamp限制2. 计算ratio时加eps确保clip生效3. 对优势函数进行批次标准化性能平台期1. 探索过早终止2. 网络表达能力瓶颈3. 算法样本效率低1. 放缓熵系数β的衰减速度2. 使用更深的网络或先进结构如ResNet3. 尝试SAC、TD3等更高效算法从基础的策略梯度到强大的PPO强化学习的策略优化之旅充满了对“探索-利用”和“稳定性-效率”的权衡艺术。没有放之四海而皆准的超参最好的老师就是实验记录和可视化图表。我的习惯是任何一次训练都务必记录下关键指标每轮回报、Critic Loss、Actor Loss、策略熵、平均优势值、梯度范数等。当问题出现时这些图表是定位根源最有力的工具。理解每个公式背后的直觉远比死记硬背更重要。当你看到智能体从零开始通过一次次试错最终学会了一个复杂技能时那种成就感正是驱动我们在这个领域不断深耕的动力。下一步我们可以聊聊如何将这些方法应用到多智能体环境或者如何与大型语言模型结合赋予AI更复杂的决策能力那将是另一片广阔的天地。