简介这份资源是基于Python与MADDPG算法实现的多智能体博弈对抗项目代码包面向希望入门多智能体强化学习的小白或进阶学习者也可直接用于毕设、课程设计、大作业与工程实训。项目完整覆盖MADDPG算法核心模块网络结构、经验回放缓冲、DDPG训练流程、多智能体环境交互判断并配有测试脚本与README说明帮助读者从零理解参数更新机制与博弈策略快速跑通示例并在此基础上扩展。资源共14个文件10个Python脚本负责算法主流程与测试另有配置文件、gitignore、环境描述和Markdown文档用于环境同步与使用说明整体压缩包仅19KB结构清晰、轻量易读。当前已有267人学习下载适合作为课程项目模板或算法研究起点。1. 当单智能体强化学习撞上两个 AgentDDPG 直接崩了做多智能体博弈对抗第一道坎往往不是算法本身而是你发现给每个 Agent 独立套一个 DDPG它在简单环境里就学不会。原因很直接环境对单个 Agent 是非平稳的。你训练的时候对手的策略也在变Q 网络的更新目标跟着抖经验回放里存的数据早就不符合当前策略的分布了。MADDPG 就是冲着这个场景来的它的核心思路是中心化训练、去中心化执行训练时让每个 Agent 的 Critic 看到所有 Agent 的动作和观测从而拿到一个稳定的全局价值估计执行时每个 Actor 仍然只用自己的局部观测做决策。这套框架尤其适合追逃博弈、攻防对抗这类“对手存在”的决策问题。对刚入门的Python开发者来说MADDPG也是一个把多智能体问题从“玩具”推向“可实验”的极佳入口。2. MADDPG 的原理拆解为什么“中心化训练 去中心化执行”能稳住对抗环境多智能体博弈对抗的核心难点在于环境中同时存在多个“学坏的对手”。你这边策略一变对手的最优反应也变整个环境对单个 Agent 而言就成了一个移动靶。MADDPG 的解决办法不是去预测对手而是让训练时的价值网络“开天眼”。2.1 从 DDPG 到 MADDPGCritic 多看到的那些信息要理解 MADDPG先得回到单智能体的 DDPG。一个 Actor-Critic 结构里Actor 负责输出动作Critic 负责打分。打分的时候Critic 需要知道“状态 s”和“动作 a”然后输出一个 Q 值。在单智能体环境里这没问题因为状态转移动态完全由你自己的动作决定。多智能体环境就出问题了。假设有两个追捕的 Agent 围一个逃跑的 Agent观察对每个追捕者来说世界模型还取决于逃跑者的动作。你不知道它往哪跑你就没法准确评估自己这个动作到底好不好。更麻烦的是逃跑者的策略是实时更新的Q 值的分布一直在变。MADDPG 的做法很朴素既然 Q 函数不稳定那就给它更多的输入。对第 i 个 Agent它的 Critic 输入不再是 (o_i, a_i)而是所有 Agent 的观测和动作即 (o_1, o_2, ..., o_N, a_1, a_2, ..., a_N)。这样一来每个 Agent 的 Critic 都基于全局信息对当前动作打分环境的真实状态转移概率对于 Critic 来说就是完备的。训练的时候每个 Critic 的 loss 是一个确定性的 TD error# critic loss基于全局观测和全局动作计算 Q 值 target_Q reward_i gamma * target_critic_i( target_obs_all, target_actions_all ) # target_actions_all 来自所有 agent 的 target actor critic_loss MSE(q_i, target_Q.detach())这里target_obs_all和target_actions_all必须来自 target 网络否则更新方向会带着当前 Q 网络的偏差训练容易震荡。detach()是必须的不然梯度会穿过 target Q 回传到 target actor 上破坏 target 网络的稳定性。2.2 Actor 的梯度从哪来确定性梯度在对抗场景里的优势Critic 开了天眼Actor 还是守规矩的。每个 Agent 的 Actor 依旧只用自己局部的观测 o_i 做输入输出确定性动作。训练时Actor 的梯度来自自己那个 Critic而不是环境给的 sparse reward。这就绕开了策略梯度方法里“每个动作只能靠采样估分”的方差问题。# actor loss用当前 critic 对全局状态的评价来引导当前 actor 的策略 actions actor_i(obs_i) actions_all concat_all_actions(actions, other_actions) actor_loss -critic_i(obs_all, actions_all).mean()注意这里的actions是连续动作所以能够直接对 actor 求导。这也框死了 MADDPG 的适用范围只适合连续动作空间像机器人控制、攻防博弈里的连续速度和方向控制。离散动作空间要用它的变体比如把 Gumbel-Softmax 接在 actor 输出后面但效果就得看调参了。对做博弈对抗的读者来说Actor 确认性策略的好处是执行时极其轻快。推理阶段不需要采样前向一次网络就能拿到动作这对需要高频决策的对抗仿真很重要也解释了 MADDPG 在“多智能体连续控制”里的统治地位。2.3 经验回放中的两个隐蔽问题观测拼接与对手策略泄露很多 MADDPG 实现翻车不在网络结构而在经验回放的数据组织。每条经验不能只存“自己的 transition”必须存“所有 Agent 的 transition”。这就是多智能体回放和单智能体回放最不一样的地方。# 一条 transition 的完整存储结构 transition { obs_all: obs_all, # 所有 agent 的观测 action_all: action_all, # 所有 agent 的动作含探索噪声 reward_all: reward_all, # 每个 agent 各自的奖励 obs_all_next: obs_all_next, done_all: done_all, }第二个隐蔽问题是推测对手策略时的尺度问题。因为 Critic 在训练时用到了所有 Agent 的动作如果在部署时你真的需要“预测”对手动作比如只知道部分信息就会引入额外的预测误差。实际做法要么在环境里显式提供对手真实动作仿真可行要么给 Critic 单独接一个对手策略预测头做辅助监督。对刚入门的从业者我强烈建议先在仿真里把对手动作暴露给 Critic 训练先把整体框架跑通再回头做信息受限的变体。在线部署阶段用训练好的 Actor 只依赖自身观测这个“训练/部署不对称”本身就是 MADDPG 被设计出来的理由。3. 本地搭建博弈对抗环境追逃场景的完整 Python 实现环境是一切实验的前提。我们用纯 Python NumPy 搭一个二维追逃博弈环境这是 MADDPG 最经典也最容易可视化的场景之一。两个追捕者协作围堵一个逃逸者逃逸者的目标是尽量远离追捕者。这个设定天然具备博弈对抗的性质追踪者有协作对手有对抗策略而且奖励函数的设计可以当场看出效果。3.1 定义状态空间、动作空间与奖励塑形状态空间不能只给每个 Agent 自己的坐标还要把“相对位置关系”放进去。MADDPG 在相对坐标下收敛速度远快于绝对坐标因为 Critic 学到的是“距离越近越好”这类空间关系而不是“某个具体 GPS 坐标好”这种毫无泛化能力的映射。import numpy as np class PursuitEvasionEnv: def __init__(self, n_pursuers2, n_evader1, world_size10.0): self.world_size world_size self.n_pursuers n_pursuers self.n_evader n_evader # 每个 agent 的观测维度[追捕者自身相对位置(2), 对手相对位置(2*n_evader), 自身速度(2)] self.obs_dim 2 2 * n_evader 2 # 动作空间连续二维控制 x 和 y 方向加速度范围 [-1, 1] self.action_dim 2 self.reset() def reset(self): # 追捕者分布在中心区域附近逃逸者随机放在边缘 self.pursuers_pos np.random.uniform(2, self.world_size - 2, (self.n_pursuers, 2)) self.evader_pos np.random.uniform(0, self.world_size, (self.n_evader, 2)) self.pursuers_vel np.zeros((self.n_pursuers, 2)) self.evader_vel np.zeros((self.n_evader, 2)) return self._get_obs() def _get_obs(self): obs [] for i in range(self.n_pursuers): # 自身相对坐标的中心化处理减掉世界中心 self_centered self.pursuers_pos[i] - self.world_size / 2 # 逃逸者相对自身的坐标 evader_relative self.evader_pos - self.pursuers_pos[i] obs.append(np.concatenate([self_centered, evader_relative.flatten(), self.pursuers_vel[i]])) # 逃逸者观测忽略只用于输出统计 return obs这里的关键是每个追捕者的观测包含逃逸者相对自己的坐标这个设计很关键。如果不加相对坐标Critic 很难从绝对坐标分布里泛化出“围堵”的概念。有的初学者会把观测做得很大比如全图栅格这在 MADDPG 里经常导致训练极慢。小而精的观测往往效果更好。3.2 奖励函数博弈对抗里最容易“看似合理实则崩坏”的部分追逃场景的奖励设计有几个坑。第一个坑是只给追捕者“接触奖”而逃逸者只给“逃跑奖”这会导致训练初期稀疏奖励策略完全是随机的。第二个坑是所有追捕者的奖励完全相同这看起来合理但实际上抹掉了协作分工的梯度信号。常见做法是追捕者共享一个团队奖励因为围堵是协作任务而单个追捕者额外加一个自身与逃逸者距离的变化量奖励引导个体去压缩距离。def step(self, actions): # actions 是追捕者的动作列表每个是 2 维加速度命令 for i in range(self.n_pursuers): self.pursuers_vel[i] actions[i] * 0.5 # 速度限制 self.pursuers_vel[i] np.clip(self.pursuers_vel[i], -1, 1) self.pursuers_pos[i] self.pursuers_vel[i] # 逃逸者采用固定策略直接往远离所有追捕者合力的方向跑 away_vector self.pursuers_pos.mean(axis0) - self.evader_pos[0] if np.linalg.norm(away_vector) 0: self.evader_vel[0] away_vector / np.linalg.norm(away_vector) * 0.8 self.evader_pos[0] self.evader_vel[0] # 奖励塑形 rewards [] for i in range(self.n_pursuers): dist_to_evader np.linalg.norm(self.pursuers_pos[i] - self.evader_pos[0]) # 距离惩罚项越近越好单项奖励 reward_distance -dist_to_evader / self.world_size # 团队奖励两个追捕者的平均距离协作项 team_dist np.mean([np.linalg.norm(self.pursuers_pos[j] - self.evader_pos[0]) for j in range(self.n_pursuers)]) reward_team -team_dist / self.world_size * 0.5 rewards.append(reward_distance reward_team) # 是否捕捉成功任一追捕者距离小于阈值 self.done any([np.linalg.norm(self.pursuers_pos[i] - self.evader_pos[0]) 0.5 for i in range(self.n_pursuers)]) return self._get_obs(), rewards, [self.done] * (self.n_pursuers self.n_evader), {}这个设计里有个容易被忽视的点逃逸者用的是固定策略而不是学习策略。这是有意为之。第一轮实验应当让对手“笨而可预测”把注意力集中在追捕者的协作行为上。如果你一上来就让双方都学习两个策略同时演化训练过程会极其不稳定你根本分不清是哪个策略出了问题。先固定逃逸者确认追捕者学会了协作围堵再把逃逸者替换成一个学习的 MADDPG agent做真正的博弈对抗训练。3.3 向量化批量采样的重要性Python 性能瓶颈的第一现场如果你直接把上面的 step 放在 Python 循环里跑会发现在单智能体上可以接受的慢在多智能体这里就变得难以忍受。因为每次 step 里有矩阵运算、奖励计算、边界检查Python 的每一条语句都是开销。MADDPG 训练动辄几十万步这种逐句执行的环境逻辑会成为真实的瓶颈。常见做法是用一个 vectorized 环境包装器把多局并行跑或者把环境内部改成矩阵批量计算。对这个追逃场景最简单的优化是同时跑 16 个不同初始化的局用 NumPy 批量更新所有局里 Agent 的位置和奖励。改动不大但训练速度能快上一个量级。4. MADDPG 核心实现从网络结构到训练主循环的完整落地环境就绪之后下一个挑战是算法实现。MADDPG 之所以让不少 Python 选手头疼不是架构复杂而是“多人多卡”式的训练流程组织起来繁琐多个 Actor、多个 Critic、多个 target 网络还要在每步更新各自的参数。这一章给出一个清晰可扩展的实现骨架直接照着搭就能跑。4.1 Actor 和 Critic 的网络结构与参数初始化Actor 网络不需要很深。多智能体博弈的一个经验是网络结构越深训练越不稳收敛越慢。用两到三层全连接网络就够了。激活函数用 ReLU输出层用 tanh 把动作归一化到 [-1, 1]。每个 Agent 自己拥有独立的 Actor 网络Critic 则是全连接的输入是拼接后的全局信息。import torch import torch.nn as nn import torch.nn.functional as F class Actor(nn.Module): def __init__(self, obs_dim, action_dim, hidden64): super().__init__() self.fc1 nn.Linear(obs_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.fc3 nn.Linear(hidden, action_dim) def forward(self, obs): x F.relu(self.fc1(obs)) x F.relu(self.fc2(x)) return torch.tanh(self.fc3(x)) class Critic(nn.Module): def __init__(self, obs_dim_all, action_dim_all, hidden64): super().__init__() self.fc1 nn.Linear(obs_dim_all action_dim_all, hidden) self.fc2 nn.Linear(hidden, hidden) self.fc3 nn.Linear(hidden, 1) def forward(self, obs_all, actions_all): x torch.cat([obs_all, actions_all], dim-1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) return self.fc3(x)建议把隐藏层维度设置在 64 到 128 之间。这个环境的观测维度不高64 足够。参数初始化也需要留意最后一层用均匀分布初始化并缩放到较小范围比如 ±0.1避免初始动作靠近 tanh 的饱和区。饱和区梯度几乎为零一上来学习率再小也可能让 Actor 卡住。这个细节单智能体实验里不明显多智能体共享 Critic 之后会被放大。4.2 经验回放池与多智能体 Transitions 的存储方式回放池的存储单元不是一个 Agent 的 transition而是整局所有 Agent 的 transition 打包。因为 Critic 更新时需要全局观测和全局动作如果你的回放池里只有单 Agent 的数据Critic 的输入都不全。一个干净的做法是定义 MultiAgentReplayBuffer里面每个元素直接存“这一刻全世界的样子”。class ReplayBuffer: def __init__(self, capacity): self.buffer deque(maxlencapacity) def push(self, obs_all, action_all, reward_all, obs_all_next, done_all): self.buffer.append(( np.array(obs_all, dtypenp.float32), # 所有 agent 观测拼接 np.array(action_all, dtypenp.float32), np.array(reward_all, dtypenp.float32), np.array(obs_all_next, dtypenp.float32), np.array(done_all, dtypenp.float32), )) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) obs_all torch.FloatTensor(np.array([b[0] for b in batch])) actions_all torch.FloatTensor(np.array([b[1] for b in batch])) rewards_all torch.FloatTensor(np.array([b[2] for b in batch])) obs_all_next torch.FloatTensor(np.array([b[3] for b in batch])) dones_all torch.FloatTensor(np.array([b[4] for b in batch])) return obs_all, actions_all, rewards_all, obs_all_next, dones_all这个 buffer 实现有几个凡是个坑第一dtype 必须显式转 float32否则 numpy 默认会用 float64显存直接翻倍第二不能把一条 transition 里多个 Agent 的 obs 拆开存成多条否则采样时同一时刻的全局信息是错位的你拿到了 A 第 3 步和 B 第 5 步的数据Critic 的 TD error 就没意义了。这个错位问题非常隐蔽训练半天看不到效果查数据才发现时间戳根本对不上。4.3 训练主循环软更新系数、噪声衰减与每步更新的打开方式主循环包含五个关键操作环境交互、存经验、采样、更新 Critic、更新 Actor、软更新 target。MADDPG 的基础更新频率一般是“每个 episode 末尾更新 N 次”但更稳健的做法是每步都采样更新一次batch size 取 256 或 1024。多智能体环境下 batch size 不宜过小否则 Critic 的梯度受噪声影响太大。def train_step(agents, replay_buffer, batch_size256, gamma0.95, tau0.01): obs_all, actions_all, rewards_all, obs_all_next, dones_all replay_buffer.sample(batch_size) for i, agent in enumerate(agents): # 构造目标 Q 值用 target actor 计算下一步的全局动作 target_actions_next [] for j, agent_j in enumerate(agents): target_actions_next.append(agent_j.target_actor(obs_all_next[:, obs_slices[j]])) target_actions_next torch.cat(target_actions_next, dim-1) target_q rewards_all[:, i:i1] gamma * (1 - dones_all[:, i:i1]) * agent.target_critic( obs_all_next, target_actions_next ) current_q agent.critic(obs_all, actions_all) critic_loss nn.MSELoss()(current_q, target_q.detach()) agent.critic_optimizer.zero_grad() critic_loss.backward() agent.critic_optimizer.step() # Actor 更新当前动作由某个 agent 的 actor 产生其他 agent 动作从 buffer 里取 current_actions agent.actor(obs_all[:, obs_slices[i]]) actions_all_copy actions_all.clone() actions_all_copy[:, action_slices[i]] current_actions actor_loss -agent.critic(obs_all, actions_all_copy).mean() agent.actor_optimizer.zero_grad() actor_loss.backward() agent.actor_optimizer.step() # 软更新 target 网络 soft_update(agent.target_actor, agent.actor, tau) soft_update(agent.target_critic, agent.critic, tau)这段代码里obs_slices和action_slices是每个 Agent 在全局拼接向量里的索引区间这是多智能体实现里最绕的地方。算错一个索引整个数据全是乱的。我自己的排错经验是打印一次obs_all.shape和拼接后的 action 维度用断言强制校验比肉眼核对索引可靠得多。噪声衰减直接决定训练成败。训练初期需要高噪声探索但到后期就必须降下来否则策略在最优值附近来回震荡就是收敛不了。常见做法是往动作上加高斯噪声每 1000 个 episode 把标准差乘以 0.95下限设在 0.01。def exploration_noise(std, episode, decay0.995): return max(0.01, std * (decay ** episode))这里max(0.01, ...)是整个探索策略的底线。设为 0 的话后期策略可能陷入局部最优环境里任何一点非平稳都会让它翻车。保底噪声等于给策略一个持续的微小扰动这在博弈对抗里甚至是有益的让策略不至于演化成可以被对手一个固定动作轻松击败的“呆瓜”。5. MADDPG 训练避坑指南3 个让模型原地打转的典型翻车现场多智能体训练是最容易“看起来没问题但数值就是不降”的一类任务。几乎每个把 MADDPG 跑翻车的团队最后都能归到几个固定的原因上。这章列几条真实调试中最高频的坑每条都是血泪经验换来的。5.1 训练曲线震荡或发散系因 Critic 更新过快Q 值被高估现象前几千步 loss 肉眼可见地下降之后突然开始剧烈震荡甚至 Q 值一路冲向正无穷。再训练几万步策略完全退化追捕者原地打转。原因Critic 过于乐观。这是确定性策略 函数逼近的经典问题多智能体环境下更严重。因为每个 Critic 打分时要依赖其他 Agent 的 target actor 的输出如果某个 target actor 输出一个非常奇怪的动作Critic 可能给它一个不合理的超高评分然后这个“虚高”被当成目标 Q 教给下一个 Critic恶性循环。对抗博弈里这种问题尤其容易发生在“对手刚好走出一个罕见动作”的时刻。解决第一个方法是降低tau从 0.01 降到 0.005 或 0.001让 target 网络更新得更慢给 Critic 足够时间去稳定。第二个方法是最小化目标 Q 的依赖——在 target Q 计算时给下一时刻动作加入一个小噪声并裁剪模拟策略的扰动target_actions_next target_actor(obs_next) torch.normal(0, 0.1, sizeaction_shape).clamp(-1, 1)这样 Critic 不会被某个尖峰动作误导。这个方法常被称为 target policy smoothing在单智能体 TD3 里是标配在 MADDPG 里同样好使只是很多公开实现没写。5.2 追捕者学会了“逃跑”奖励塑形与策略崩塌的边界现象追捕者的距离明明离逃逸者很近但策略却开始反向运动主动拉开距离。训练损失正常但行为完全反了。原因奖励函数里“个体距离项”和“团队距离项”发生了冲突。追捕者发现拉开距离虽然个人奖励变差但团队里另一个 Agent 会补位平均下来团队奖励反而更高。它没有学会协作围堵反而学会了“甩锅”。这本质上是一个信用分配问题个体奖励和团队奖励的比例失衡。解决重新设定奖励权重把个体距离项的系数调大团队奖励作为辅助。常见做法是个体项的权重是团队项的 2 到 3 倍。同时考虑把“捕捉成功”这个事件做成一项单独的大额终止奖励比如 10让策略有一个明确的正向目标而不是只靠持续的距离惩罚。这个细节在博弈对抗里尤其重要——稀疏的“底线奖励”能有效防止策略退化到消极行为里。5.3 训练时间极长但进展缓慢问题出在探索噪声和 batch size 上现象跑了几十万步损失也降了但表现始终不行。逃跑者还是能轻松跑掉追捕者围堵效率非常低。原因探索噪声太小或者 batch size 太大。噪声小策略过早收敛到一个次优解很难跳出来。batch size 太大Critic 每次更新都朝着一个非常平滑的方向走等于给优化器加了巨大的 momentum导致策略更新极其缓慢。解决把噪声初始标准差设到0.3以上并且在前几万个 episode 内不要衰减太快batch size 从 256 降到 128 或 64让每次更新有更多随机性。MADDPG 在小型环境里其实不需要特别大的 batch因为经验回放池本身已经降低了样本相关性batch size 需要的是“够算稳梯度”而不是“大而全”。网络结构太深比如隐藏层 256 以上也会造成同样问题这个环境里把隐藏层压回 64 往往见效最快。6. 从追逃到博弈把 MADDPG 推向复杂对抗场景的进阶思路当基础追逃环境跑通后真正有价值的工作才开始。把固定逃逸者换成一个学习对手意味着环境从“协作任务”变成了真正的两人博弈。这一阶段的目的不是一款论文复现而是要理解对抗训练的本质。6.1 用课程学习加速对抗收敛先打固定靶再打移动靶直接让两个 MADDPG agent 从零开始互相对抗通常会在一个很长的阶段里都学不到任何东西因为双方的策略都是乱的经验里全是随机的碰撞。常见做法是分阶段训练先固定逃逸者把追捕者训练到能稳定捕捉然后把逃逸者换成学习 agent但给它的目标函数加上一个约束比如初始策略贴近“远离追捕者”这个启发式再开始联合训练。这样做的好处是追捕者的初始策略已经是有意义的而不是随机动作逃逸者面对的是一个有策略的对手学到的东西也更有对抗价值。课程学习的核心是“别让两个随机策略互相污染”。6.2 验证博弈收敛用对抗胜率和收益矩阵而不是只看 Reward多智能体训练里reward 曲线不能完全反映博弈的收敛情况。你的追捕者可能 reward 上升了但只是因为逃逸者变笨了。可靠的验证方法是固定一个 Agent 的策略让另一个 Agent 继续训练观察固定者的收益变化。如果固定者的收益显著下降说明可变者确实学到了针对性的策略如果双方的收益都基本不变可能只是各自在自己的局部最优里打转没有形成真正的博弈升级。这个方法很简单却很能说明问题。6.3 概率动作与多模态博弈连续动作空间的边界MADDPG 的确定性策略天然适合连续控制但有些博弈场景比如剪刀石头布式的策略克制需要随机策略。确定性策略在这里会陷入“猜对手会做 A然后自己也做 A结果双方一起撞墙”的困境。一个实用的折中是在动作上加较大的探索噪声让 Actor 的行为看起来是随机的但真正的随机策略需要换用 PPO 或 SAC 的多智能体版本。这是 MADDPG 的边界也是选型时第一个要确认的问题。6.4 模型保存与评估每个 checkpoint 都要能真实对战一把多智能体训练的不稳定性决定了不能只看“最后的模型”。一个常见习惯是每 5000 个 episode 存一次全队 checkpoint然后固定下来让当前模型和之前所有版本的模型各对战 10 局记录胜率和平均捕获时间。这比盯着 reward 曲线可靠得多。如果发现“当前版本打不过上一版本”说明策略退化了这是回滚机制的核心——多智能体训练里保留多个版本这件事本身就是后悔药。我自己跑追逃对抗时踩过最深的一个坑是在训练收敛后又加了 5000 个 episode结果策略突然剧烈翻身追捕者退化成逃逸者。从那以后保存历史 checkpoint 并做交叉对战就变成了我每次训练的固定动作。这个习惯在对付非平稳环境时极具价值。希望这段实践历程能帮你在 MADDPG 多智能体博弈对抗实验里少走一大截弯路更快跑到能看得到对抗策略涌现的那个节点。本文还有配套的精品资源点击获取