简介一套基于MADDPG算法的多智能体编队控制学习项目面向深度强化学习研究者以及无人机、自动驾驶编队控制开发者目标是解决多智能体在保持队形、避免碰撞和应对动态环境时的协同决策难题。压缩包共18个文件以Python源码为主体13个py另有4个txt状态文件与1个pyc缓存整体仅11KB。其中Python代码覆盖MADDPG核心训练逻辑、DDPGAgent策略网络、演员-评论家结构、经验回放缓冲区、参数配置、主程序与测试脚本txt文件保存编队状态供分析结构简洁清晰。下载后可直接运行main.py启动训练通过test.py检验效果灵活调整params.py中的超参数或基于Controller模块扩展更多控制场景整套代码为理解多智能体强化学习提供了可复用的实验框架也适合作为编队控制课题的入门参考。目前已有1787人学习下载。1. FCMADDPG 是什么一套把编队控制写进 MADDPG 训练闭环的深度强化学习工程做无人机编队或自动驾驶车队控制的人搜到“FCMADDPG”时多数已经读过 MADDPG 论文但卡在写代码这一步。这个压缩包解决的就是这个痛点它是一份完整的深度强化学习编队控制工程maddpg.py 是 MADDPG 算法核心Controller 目录提供多个控制器实现main.py 和 test.py 串起训练与评估state 目录则把每个智能体的编队状态落盘方便回放和分析。适合两类人一类刚接触多智能体强化学习想拿一份能跑通的全流程代码做基线另一类已经在做多智能体编队需要对比不同奖励设计和控制器结构。这套工程把论文里模糊的“编队奖励”变成了可运行的代码直接改参数就能看到队形变化。2. 先把算法吃透MADDPG 的集中训练分散执行与编队奖励设计2.1 从 DDPG 到 MADDPG多智能体为什么需要集中评论家先说要解决什么问题。单智能体 DDPG 里actor 根据自身观测输出动作critic 根据“状态-动作”对估计 Q 值训练目标是让 Q 值最大化。这个套路在单智能体环境里成立是因为环境转移只受一个策略影响。到了多智能体编队场景四个智能体同时运动任何一个智能体的策略改变都会改变其他智能体观测到的状态分布。此时每个智能体独立维护一个 DDPG等价于在非平稳环境下做强化学习critic 的 Q 值估计会被其他智能体的策略变化不断干扰训练很难收敛。这就是 MADDPG 存在的理由。MADDPG 的核心改动是“集中训练、分散执行”。训练阶段每个智能体的 critic 不再只看自己的观测和动作而是拼接所有智能体的观测和动作作为输入这样 Q 函数能感知全局状态避免了非平稳问题actor 仍然只吃自己的局部观测保证推理阶段每个智能体可以独立决策不需要通信依赖。这个设计直接影响了 actor_critic.py 里的网络维度定义。拿到代码后第一件事就是看 critic 的输入维度是不是“所有智能体观测维度之和加所有智能体动作维度之和”如果只写了单智能体的维度说明实现被简化过训练效果会打折扣。actor_critic.py 里还有一个容易被忽略的地方MADDPG 论文提出为了计算某个智能体策略梯度时能模拟其他智能体的行为需要为每个智能体额外维护一个对其他策略的近似函数。很多工程实现会省略这一步直接用 replay buffer 里记录的其他智能体真实动作。这个压缩包的实现方式需要看代码里 actor 的更新过程如果只是拿历史动作做输入属于简化版。简化版在智能体数量少、动作空间小的编队场景下通常够用但如果后续扩展到对抗场景还是要把策略近似补回来。2.2 编队控制怎么翻译成奖励函数队形保持、避碰与速度一致编队控制在数学上可以描述为N 个智能体相对于领航者或某个编队参考点保持一组期望的相对位置偏移。以 4 机编队为例1 号机是领航者2、3、4 号机相对 1 号机的期望偏移量分别为某个固定几何构型。每个时刻控制器计算实际相对位置与期望相对位置的误差误差越小说明编队保持得越好。问题在于这个误差没法直接用于梯度下降必须转换成强化学习能优化的奖励信号。常见做法是把编队奖励拆成三项叠加队形保持项领航者与跟随者实际相对位置和期望偏移的负距离或者高斯函数 exp(-dist²/σ²)。避碰项当两个智能体距离小于安全半径时给负奖励距离越近惩罚越大通常写成 max(0, safe_radius - d_ij) 的形式。速度一致项跟随者速度与领航者速度的差值范数用于抑制队形振荡。这三项对应的代码逻辑一般写在环境或 reward 函数里。调参顺序上我会先把队形保持项的权重调大让智能体先学会向目标点移动等队形能看到雏形了再逐渐加入避碰项。如果一开始就把避碰项权重拉满智能体会倾向于原地不动因为不动就不会碰撞奖励反而可能比乱动更高。这是编队训练里最常见的局部最优陷阱。state 目录里那一批 state1.txt 到 state4.txt从命名看就是 4 个智能体在训练或测试过程中的状态记录每行大概率是“智能体编号、位置坐标、速度分量、与其他智能体的距离”这类字段。用这批文件可以离线分析某个回合里队形误差是怎么变化的排查训练中的异常行为。3. 从代码到训练params.py 参数怎么设、main.py 训练循环怎么走3.1 params.py 参数解读学习率、噪声、更新间隔的一次完整配置params.py 是整个工程的配置入口。它里面装的是所有会直接影响训练行为的超参数拿到代码第一件事不是跑而是打开这个文件把每个参数的意义核对一遍。常见的配置项包括参数常见范围说明actor_lr1e-4 ~ 1e-3actor 网络学习率编队场景建议从 1e-4 起步critic_lr1e-3 ~ 1e-2critic 网络学习率通常比 actor 高一个量级gamma0.95 ~ 0.99折扣因子编队任务属于连续决策0.99 更合适tau0.001 ~ 0.01target 网络软更新系数太小则 target 更新过慢batch_size64 ~ 256经验回放采样数量4 智能体场景 128 够用buffer_size1e5 ~ 1e6经验池容量越大越稳定但占内存max_episodes几千到几万训练回合数编队收敛通常需要数千回合noise_scale0.1 ~ 0.5探索噪声幅度训练后期需要衰减这里重点说两个参数。第一个是 tau它控制 target 网络更新的平滑程度。tau 太大target 网络跟着当前网络猛跑训练不稳定tau 太小target 网络基本冻结学习速度显著下降。我一般设 0.005如果发现训练后期 Q 值振荡会降到 0.002。第二个是噪声的衰减策略。MADDPG 用的是确定性策略训练早期靠 OU 噪声或高斯噪声探索动作空间。如果噪声不衰减训练到后期智能体还在乱抖动作输出始终不够干净测试时表现会差距很大。正确做法是设定一个衰减系数比如每 1000 回合把噪声幅度乘以 0.9让智能体从探索逐渐过渡到利用。3.2 main.py 训练主循环从采样到 target 更新一个回合看全流程main.py 是训练主循环的骨架。它做的事情可以用一段结构清晰的代码描述。实际工程里主循环代码通常长这样# main.py 训练主循环节选结构与常见 MADDPG 实现一致 for episode in range(max_episodes): obs_list env.reset() # 每个智能体各自的初始观测 episode_reward 0.0 while not done: actions [] for i in range(num_agents): # 训练阶段加探索噪声测试阶段不加 action agent[i].get_action(obs_list[i], add_noiseTrue) actions.append(action) next_obs_list, reward_list, done env.step(actions) # 把整条转移存入回放缓冲区 replay_buffer.add(obs_list, actions, reward_list, next_obs_list, done) obs_list next_obs_list if replay_buffer.size() batch_size: # 随机采样一个 batch更新所有智能体的 actor 和 critic agent.update(replay_buffer.sample(batch_size)) episode_reward sum(reward_list)这段逻辑说明几点。第一add_noiseTrue是训练和测试的分水岭测试时必须改成 False否则动作里带的噪声会让轨迹抖动。第二env.step(actions)传入的是所有智能体动作的列表环境内部会把动作映射为位置和速度的更新同时计算编队奖励和碰撞惩罚。第三replay_buffer.add做的是整体存入这一点非常关键。MADDPG 的经验回放必须以“整步”为单位即一条经验里包含所有智能体的观测、动作、奖励和下一观测。如果拆成单智能体分别存放采样时不同智能体的经验步数错位critic 拿到的全局信息就是错乱的整个集中评论家设计就失效了。这一点在 review replay_buffer.py 时要重点确认。训练循环里还有一个经常被忽视的细节target 网络的更新时机。actor 和 critic 各自的 target 网络不是每一步都更新而是每更新一次当前网络后按照 tau 做一次软更新。如果 target 网络更新频率和当前网络不同步比如每步都硬拷贝训练会剧烈震荡如果一直不更新TD 目标会越来越偏离真实值。用 tau0.005 的软更新相当于当前网络每走 200 步target 才跟上一点点这是 DDPG 系算法稳定的基本前提。4. 一次跑通环境依赖、训练启动与 test.py 的三种验证姿势4.1 环境准备先在 Python 3.7 系虚拟环境里跑压缩包里出现 function.cpython-37.pyc说明这份工程是在 Python 3.7 环境下编译运行的。虽然现代 PyTorch 在 3.8、3.9 上也能跑但稳妥起见我建议用 conda 建一个 Python 3.7 的虚拟环境再装依赖能省掉很多莫名其妙的兼容性问题。依赖方面核心是 PyTorch 和 NumPy如果环境里的仿真基于 gym就再补 gym。装包命令通常是一行conda create -n fcmaddpg python3.7 conda activate fcmaddpg pip install torch numpy gym装完后先检查 PyTorch 能不能调用 GPU。编队控制的训练速度受限于网络更新的次数四智能体场景下 CPU 也能跑但速度差距明显。用python -c import torch; print(torch.cuda.is_available())看输出返回 True 就接着用 CUDA 版返回 False 也不影响小规模调试只是训练回合数要相应减少。4.2 跑训练的最小命令从零到权重文件落地环境就绪后训练入口是 main.py默认配置从 params.py 读取。启动命令通常只需要一行python main.py --mode train如果 main.py 没接命令行参数那就直接python main.py。训练开始后终端会周期性地输出当前 episode 的累计奖励、队形误差或碰撞次数。这里要注意输出的节奏如果每个 episode 都输出了完整指标但数值始终没有上升趋势说明奖励设计有问题不要盲目加训练时长先停下来检查参数。训练正常的情况下奖励曲线会在前几百回合明显爬升之后进入缓慢上升阶段。等累计奖励基本平稳训练得到的一组 actor 权重会保存为 .pth 文件这就是后续测试要用的模型。训练时长没有统一标准。环境简单、四智能体直线编队可能两三千回合就够如果带避障、动态目标往往要上万回合。我的习惯是先跑一个 200 回合的小实验用--max_episodes 200之类的方式限制确认程序能完整走完训练循环、奖励能正常累计再放开跑完整训练。不要一上来就跑几万回合万一环境或奖励写崩了时间全浪费在等待上。4.3 state 目录和 Controller 目录分别装的是什么跑通流程后不少人有同样的困惑state1.txt 和 controller1.py 到底哪个是训练用的这里做个区分。Controller 目录里是一组可单独调用的控制器实现controller1.py 到 controller4.py 对应四个智能体的控制逻辑。它们可能是传统 PID 形式的控制器也可能是与深度强化学习策略杂交的控制器具体看代码里输入输出接口。它们的存在价值在于可以在同一份环境代码里对比“传统控制器”和“训练出来的 MADDPG 策略”在编队保持上的差异。state 目录则完全是数据产物state1.txt、state2.txt 这些文件记录的是训练或测试过程中每个智能体的状态快照包括位置、速度、间距等信息。它们的用途有两个一是复盘某个回合为什么发散比如在哪个时间点两个智能体距离突然小于安全半径二是做训练数据的可视化把 state 文件读出来画轨迹能直观看到编队形态是收敛的还是发散的。阅读 state 文件时第一行通常是初始状态后续行按时间步排列真正要注意的是文件的最后几行——训练结束时智能体是保持在队形里还是已经飘走了。4.4 test.py 能做什么加载权重、回放轨迹、量化编队误差test.py 的目的是用训练好的权重验证策略而不是重新训练。它一般会加载保存的 actor 网络参数把探索噪声关掉在相同的初始条件下跑若干个 episode记录每回合的队形误差。这段逻辑的核心部分可以抽象成下面这段# test.py 核心流程加载权重并做确定性推理 for episode in range(num_test_episodes): obs_list env.reset() while not done: actions [] for i in range(num_agents): # 测试阶段必须关闭噪声否则动作不稳定 action agent[i].get_action(obs_list[i], add_noiseFalse) actions.append(action) obs_list, reward_list, done env.step(actions) # 记录相对位置误差用于统计编队质量 formation_error.append(compute_formation_error(obs_list))这段代码体现了一个容易被忽略的习惯测试时环境随机种子要保持一致。如果每次测试随机种子都不同初始位置差异会直接反映在编队误差上误判模型性能。我会把随机种子固定然后用多组不同种子取平均这样得到的评估数据才有说服力。测试结果一般输出两类指标平均队形误差和碰撞次数。前者越小说明编队保持越好后者为 0 说明避碰有效。如果误差很大而碰撞次数很少很可能是智能体为了避碰放弃了队形反过来碰撞次数多说明避碰奖励权重太低。这些都是 test.py 输出结果最常见的解读方式。5. 避坑与排查MADDPG 编队训练里最常翻车的五个现场5.1 训练发散奖励曲线冲到高点后断崖式崩盘现象训练初期几百回合累计奖励快速上升然后突然掉到负值之后再也回不来。从 state 文件看智能体在某个时间点集体向某个方向冲出去队形完全散掉。原因这是经验回放里混入了“坏经验”。策略在探索阶段偶然做出一个高奖励动作但后续 policy 快速改变buffer 里的旧经验分布与当前策略不再匹配critic 对 Q 值的估计就失真了。另一个常见原因是 batch_size 太大采样到的经验互相矛盾训练信号被冲突梯度覆盖。解决先把 batch_size 降到 64 试试同时把 tau 调小到 0.002让 target 网络更新更平滑。如果还没用检查奖励是否出现了极端大值比如距离奖励直接用未归一化的坐标差值数值超过 10 就会让梯度爆炸需要把奖励整体除以一个缩放系数把数值压到 0~1 量级。5.2 队形“缩成一团”避碰项被队形项吃掉现象训练结束后智能体没有形成期望的几何构型而是聚在一个很小的区域内看起来像“一堆点重叠了”。碰撞次数很低但队形误差很大。原因避碰项和队形项在几何上互相冲突。队形项把智能体往目标相对位置拉如果目标相对位置之间的距离小于安全半径避碰项和队形项就会打架。收益函数里如果避碰项权重偏低智能体宁可牺牲避碰也去满足队形最终缩成一团。解决检查编队期望偏移量配置4 机编队的期望队形尺寸必须大于安全半径的两倍。比如安全半径是 1那么相邻智能体的期望间距至少应该是 2.2。其次把避碰项的惩罚形式从线性改成指数形式当距离小于安全半径时惩罚迅速增大让策略“不敢”进入危险区域。5.3 只有一个智能体学到东西其他三个全程乱动现象训练过程中1 号机行为稳定队形误差在下降但 2、3、4 号机的轨迹很混乱像在随机游走。看各自的 reward 曲线只有一个智能体的奖励在上升。原因这是编号从 0 开始的动作分配顺序问题。如果 agent[0] 和 env 中实际控制的智能体编号不一致或者经验回放时 reward_list 的索引对应错了某个智能体就一直在用错误的奖励信号学习。还有可能是四个智能体共享了一个 actor 参数但编队任务里领航者和跟随者的策略本来就不同共用参数会让跟随者学成四不像。解决第一步在训练循环里打印每个智能体每一步的观测、动作、奖励核对索引是否一一对应。第二步确认 actor_critic.py 里每个智能体是否有独立的 actor 网络。MADDPG 的标准做法是每个智能体一组 actor-critic 参数如果为了省内存共享了网络后续者策略会被领航者的梯度污染。把共享参数拆开重新训练。5.4 训练时奖励正常测试时队形立即散架现象训练阶段累计奖励稳步上升状态文件里也能看到队形。但是用 test.py 跑智能体的行为明显退化编队坚持不了多久就散掉。原因最大嫌疑是探索噪声没有关闭。训练阶段 actor 输出的动作上加了一层高斯噪声模型已经学会了在“有噪声的视角”下做决策一旦测试时关闭噪声观测分布和训练时不匹配策略表现自然大幅下降。另一个可能性是训练时环境随机性太小智能体把某个固定初始位置记住了测试时换了初始位置就不会应对。解决去到 test.py 里确认add_noiseFalse一定生效。其次在训练时给初始位置加随机扰动并周期性评估一次当前策略的无噪声表现。每训练 500 回合就让智能体不带噪声跑一个 episode看奖励是否稳定这个评估值才是真实水平。5.5 训练速度慢到无法忍受几十个回合就要跑很久现象训练几小时只完成了不到一千回合终端输出的每秒步数很低GPU 利用率也上不去。原因最容易出问题的是环境步进和网络更新串行执行环境在 CPU 上跑一步网络在 GPU 上更新一次两者互相等待。另一个常见的瓶颈是 replay_buffer 采样用了全量遍历buffer 超过 10 万条以后随机采样一次要做大量内存复制速度断崖式下降。解决先把 batch_size 和 buffer_size 调小比如 batch_size 128、buffer 5 万条确认训练能跑动。再把目标网络更新频率从“每步更新”改成“每 2 步更新一次”减少反向传播次数。如果经验池太大检查采样代码是否可以直接用 NumPy 的np.random.choice做索引采样而不是用 Python 的random.sample。这几个优化做完训练速度通常能翻一倍以上。6. 进阶把 FCMADDPG 跑出自定义队形的三个技巧6.1 编队参考点改成动态目标别用固定全局坐标很多编队实现把期望队形写成全局固定坐标比如“2 号机去 (5, 3)3 号机去 (5, 5)”。这在小场景里能跑通但领航者一旦移动跟随者会在原地打转。正确写法是以领航者位置为原点做相对偏移让每个跟随者的目标点随领航者实时更新。我会在奖励函数里这样写对每个跟随者计算target_pos leader_pos offset[i]再让跟随者朝这个目标位置移动。这样领航者转弯或者加速编队整体会跟着走不会散开。6.2 奖励函数加一个距离梯度项替代稀疏的到达奖励如果只在智能体到达目标位置时给一个 1 奖励智能体在到达之前收到的全是 0学习效率极低。更好的做法是给一个连续的距离变化奖励在某一步如果智能体与目标点的距离比上一步小就给一个小的正奖励距离变大就给负奖励。这个奖励信号是稠密的训练时每一步都在生效而且让智能体养成“靠近目标”的趋势。我用过的最简单写法是reward_dist -dist/scale其中 scale 设为期望编队尺寸的 1/3这个值越大智能体对距离越不敏感队形会比较松散越小越敏感队形会更紧但也更容易振荡。6.3 评估编队质量时把稳定误差和碰撞次数分开统计测试脚本里只输出一个平均奖励评估不了编队质量因为奖励是多目标的加权和。我会在 test.py 里额外统计两个指标稳定误差和碰撞次数。稳定误差是最后 N 个时间步的队形误差平均值它反映的是收敛后的稳态精度碰撞次数反映的是安全性。训练时奖励接近收敛后这两个指标比奖励更能说明问题——奖励高但碰撞次数高说明避碰权重不够稳定误差小但碰撞次数多说明队形间距没留够。从那以后我每跑一组新实验第一件事就是去 test.py 里把这两个指标打印出来先看它们再决定调参方向而不是干盯着那个总是飘忽不定的 reward 曲线。这个习惯帮我省了不少试错的回合数也希望帮到你。本文还有配套的精品资源点击获取