在多机器人领域摸爬滚打这些年有个问题几乎每次做系统演示都会被问多个机器人同时在一个共享空间里穿行互相不知道对方下一步要干什么怎么才能不撞上又不要为了避让而兜个大圈子这个问题听起来简单做起来非常难受。传统做法像ORCA这类算法是基于凸优化的思路去求一个相对“最优”的速度向量但它有个隐藏前提每个机器人都假设别人也会按同样的规则来做。一旦这个假设被打破整个系统的表现就会肉眼可见地变差。而这篇论文《Towards Optimally Decentralized Multi-Robot Collision Avoidance via Deep Reinforcement Learning》正好就是在拆掉这个前提用深度强化学习训练一个“自己会协商、能隐式合作”的去中心化策略。我把它彻底读了一遍又把训练流程复现折腾了一遍这篇文章把我的理解和踩坑都写进去适合正在做多机器人导航、想用DRL替换或者对比ORCA的开发者也适合刚入门想了解强化学习在多智能体系统里怎么落地的同学。这篇论文的价值不在于它换了个网络结构和别人比分数而在于它把“去中心化”这件事从头到尾梳理清楚了现实中的多机器人系统几乎不可能有一个中心节点实时掌握所有机器人状态再统一发指令通信带宽、延迟、故障都让集中式方案在物理世界里站不住脚。所以每个机器人必须靠自己的传感器观测自己决策但又不能让决策质量比全局规划差太多。论文走的路子是让每个机器人共享同一个策略网络把对方机器人也当成环境的一部分通过网络训练去隐式学习“什么时候该让、什么时候该加速冲”。下面我就分几个层面把这个论文里的核心设计、训练逻辑、实验结果以及我自己复现时遇到的坑尽量讲透。1. 为什么“近最优去中心化”不是一句空话多机器人碰撞避免的问题本质1.1 一个容易被低估的复杂性非合作 vs. 隐式合作在做多机器人碰撞避免之前我得先承认一个现实绝大多数人想象的“多机器人避障”实际上是“单机器人避障”的重复堆叠。也就是每个机器人把别人当作动态障碍物用自己的感知-规划模块去绕开。这样做在机器人少、场景空的时候看起来能用但一旦密度上来就会出现一个经典现象两个机器人面对面相遇都往同一个方向让结果让成一条直线谁也无法通过然后陷入死锁。从本质上看碰撞避免是一个“联合状态空间”下的协调决策问题。如果机器人有N个那么全局状态空间是指数级扩张的。集中式方法可以求全局最优但对通信和单点可靠性要求太高纯分布式方法不依赖通信但常常陷入局部次优比如振荡、死锁、绕远路。ORCA招人喜欢的原因是在“每个机器人使用同一套规则”的前提下把碰撞避免化解成一个线性规划问题理论上可以高效求解。但这里的关键是ORCA要求所有机器人都严格遵守同一个“协商规则”你的安全半平面假设、反应时间假设都要一致。如果某机器人是个感知不准或者决策参数不同的异构节点ORCA的数学基础就摇摇欲坠了。作者们在论文里反复强调一个词optimally decentralized我理解的是不是“集中式算出来的全局最优”而是“在只靠局部观测的前提下能做到的最优策略”。1.2 ORCA的性能天花板在哪里复现过ORCA的人会有同感ORCA参数调得好在几台机器人之间避让很顺滑可是把机器人数量增加或者让机器人带着不同速度上限跑情况就开始不对劲了。我印象最深的一组仿真里把ORCA放在一个环岛场景四台机器人需要交叉通过结果有一台机器人在原地转了三个大圈才找到进入空隙的机会。原因就是ORCA的规则过度连续它选择的解总在图谱意义上的最优半平面里但那个半平面对应的速度方向往往不是导航意义上的最优方向——它牺牲了整体的目标达成率。论文里也用了几个实验场景来量ORCA的下滑成功率、总耗时、平均速度都开始劣化。相比之下用DRL学出来的策略不去求线性规划解而是学习一个从观测到速度指令的映射。这个映射是数据驱动的它没有对别的机器人作强假设所以在训练分布内的场景里反而更容易找到“大家都能快点走”的默契。1.3 论文破局思路把避碰当作部分可观测的马尔可夫博弈既然ORCA这种基于优化假设的路子不太稳作者们就把问题重新用强化学习的语言描述了一遍。每个机器人就是自己的agent它观测到的不是全局矩阵而是自己视野范围内其他机器人和障碍物的相对信息。因为观测不完全所以这个设定天然是部分可观测的马尔可夫决策过程或多智能体的POMG。这个视角的转换带来了直接好处策略网络可以去逼近一个在真实环境中表现好的解而不需要人为地去建立“我们按这个半平面规则交互”的先验。网络可以从仿真数据里学到一种隐式的协商协议——比如接近路口时微微减速观察如果对方也在让那就可以加速穿过如果对方没让就准备绕行。这个效果在ORCA中是很难编码出来的因为ORCA本身没有“意图识别”的概念只有数学约束。所以这篇文章的标题里的“towards optimally decentralized”强调的是“逼近”。它不声称自己找到了绝对最优的去中心化解而是说在给定局部观测的条件下策略网络在指标上能逼近甚至超过中心化/ORCA的效果这是一个非常重要的温和且诚实的表达。2. 问题建模从“不同时抵达终点”到“不同时撞上”的奖励塑形2.1 状态空间设计有限视野下的相对观测要训练一个去中心化的避碰策略首先得确定网络输入是什么。论文的做法时非常典型的“以我为主”的局部坐标系设计以机器人自身为原点把目标位置、邻域机器人的相对距离和相对速度、静态障碍物的最近点信息等编码成固定维度的向量。同时还要输入机器人自身速度和目标距离等内部状态。我刚开始想的时候有点疑惑为什么不用全局坐标原因有二一是部署时根本没有全局坐标的可靠来源二是在训练时如果用绝对坐标学到的策略会有很差的泛化性——移动一下起点或者换张地图策略就过拟合了。只有用相对观测把平移和旋转都放到网络输入里消掉策略才能学会“不看地图也能避碰”的本领。这里有一个细节值得展开。论文对多机器人邻域的处理方式是有限视野范围内的最近K个邻居这个K需要人为设定。K太小策略可能对多机器人群体的压力估计不足K太大输入维度膨胀而且远处的机器人对避碰决策其实无贡献。我在复现的时候把K设为5到10之间测了下效果发现K5在密集场景下表现明显不如K10但是K10带来的训练成本增加也不少。论文里应该是用了较小的K加上LSTM的时序记忆来弥补视野上限——这是一个很巧妙的折中。2.2 动作空间连续速度指令而不是路径点因为实际机器人控制层接受的是速度指令论文把动作空间定义为一个二维的连续速度向量包括线速度方向和大小角速度则可能作为另一个输出。这样设定存在一个好处就是策略可以直接作为底层控制器使用不需要中间加一个轨迹跟踪模块。但代价是训练难度升高连续动作空间会让策略梯度方法的方差变大而小幅动作上的微小偏差就可能导致碰撞或者绕路。缓解这个问题的常见手段包括动作采样加高斯噪声来增加探索、控制决策频率、对速度输出加限制使网络不能输出超出机器人动力学范围的值。论文里应该也用了类似clipping的策略不过我们复现中发现真正影响效果的是决策频率如果太频繁比如20Hz策略会输出抖动表现出来就是机器人来回画龙如果太低比如2Hz机器人对突发情况的反应又慢半拍。最后在仿真里我把决策频率调到5到7Hz效果比较稳定这个值也适合大多数轮式机器人平台的常见控制频率。2.3 奖励函数碰撞惩罚、前进奖励与舒适度约束的拉锯奖励函数是DRL方法里最需要打磨的地方。论文的Reward设计并不花哨可以分为三个部分碰撞惩罚一旦发生碰撞就给一个较大的负奖励这是硬约束。到达奖励到达目标点给正奖励并且希望用时越短越好。潜在函数potential-based reward shaping用机器人到目标点距离的变化量来形成每步的微小奖励或惩罚。这一步非常关键因为稀疏的碰撞惩罚和大奖到达奖励无法有效引导网络在长时间步序列中学会“怎么走才是快”的。另外一个非常重要的细节是论文给了碰撞惩罚一个相对合理的数值范围而不是设成极大负值。很多新手喜欢把碰撞惩罚设成-100甚至-1000以为能更强力地抑制碰撞行为。但那样会导致网络训练早期容易被单个碰撞样本摧毁所有策略都变得极端保守机器人根本不敢往前走。正确做法是把碰撞惩罚调到“让整体训练稳定但又能促进避碰行为”的区间比如-1.5到-2.0左右并配合到达奖励来平衡。光这个调参过程就消耗了我不少时间后面会单独讲。如果用一个不那么严谨但是很形象的比喻奖励函数就像在教一个新手司机开车不能一打方向盘就说错而是要根据他是否离目的地更近、有没有压线、有没有擦碰来综合打分。这样他才能逐步学会既快又安全的驾驶风格。2.4 多智能体训练策略CTDE框架下的共享参数论文的另一个值得注意的点是在训练阶段采用集中式训练、去中心化执行CTDECentralized Training with Decentralized Execution范式。不过在具体实现上它又比常见CTDE更简单一些不是训练一个额外的大Critic全局价值网络而是让所有机器人共享同一个策略网络同时用各自的局部观测独立采样。这种训练方式的好处在于从数据分布上看每个机器人不仅体验自己的轨迹还能从其他人的“视角”体验场景相当于训练数据的使用效率被放大N倍。另一个好处是因为所有机器人参数共享最后部署时只需要给每台机器人烧录同一套权重天然支持异构机器人的数量和型号扩展。需要注意的是共享策略不等于“大家学成同一个行为”。因为策略的输入是局部观测不同位置不同状态的机器人面对完全不同的观测输出自然不同。所以这里的共享更像是“同一套交通规则”而不是“所有人用同一个固定动作”。3. 训练机制的核心LSTM、课程学习与隐式政策协商3.1 网络结构为什么要用LSTM看了论文网络结构的人会问为什么不是全连接网络为什么用了循环结构拆开来看有两个原因。第一单个时间步的观测不足以判断对方意图。假设你看到另一个机器人突然向左前方加速如果只看这一瞬间很难判断它是想从你左侧绕行还是因为惯性在修正航向还是它根本就是随机抖动。用LSTM后网络能记住过去几步的观测序列从中提取出对方的行为趋势——这就是“意图识别”的最低配版本。第二机器人的动力学模型通常有惯性决策平滑性要求输出速度不能突变。LSTM天然带有隐状态的时间平滑性可以让网络输出的速度序列连续性更好。我在复现时做了一个对照实验把LSTM换成纯全连接网络相同训练步数下纯全连接策略的动作曲线就有明显的毛刺感体现在实际控制上就是机器人快速抖动成功率倒是差不多但总能耗和路径平滑度差很多。对于实际机器人平台这种抖动是非常致命的问题电机和底盘都容易出故障。3.2 课程式训练Curriculum Learning先学避障再学长距离导航强化学习的一个大问题是在随机复杂场景下探索效率太低。机器人一开始瞎跑大部分时间都花在到处碰壁上稍微复杂一点的任务根本学不动。论文里用的解决方案是课程学习Curriculum Learning从简单场景开始训练让策略先在少机器人的空旷环境中学会基本导航和碰撞避免然后逐步增加机器人密度、增加静态障碍物、扩大环境尺寸。实际操作上课程切换的时机如何确定是一个很微妙的工程问题。切换太早学到的技能不稳定切换到复杂任务时策略崩坏切换太晚策略在小场景中过拟合学到一堆只在特定环境可用的模式泛化能力差。一个比较容易落地的做法是在训练过程中持续记录一个滑动窗口的平均成功率或平均单步奖励只有当这个指标在某个阈值以上并稳定若干轮后才提高课程难度。这种方式比固定步数切换要稳健得多我也一直沿用这个思路。随着机器人数量增加训练环境的计算资源消耗会非线性增长。每一个新增机器人意味着环境中多了一组动态观测和交互其他机器人之间的碰撞事件也在增加。CPU多线程模拟如果调度不好训练效率下滑严重。这也是很多大团队会采用底层并行环境引擎、甚至把仿真器用GPU加速的原因。论文没有过多讨论优化细节但复现者一定要留意这个性能瓶颈。3.3 去中心化执行时为什么会出现“隐式协商”这是我认为整篇论文最精彩的部分。由于训练时所有机器人共享策略并且都是在同一个大规模经验池中训练的它们的策略实际上学到了一个不成文的协作模式。部署时虽然互相不知道对方的模型参数其实是一样的但因为观测接近、策略相同它们会对同一类情景做出协调性的反应。举个例子在窄道会车时策略可能学到的是“如果我已经偏左对方偏左那我就往右打一点加速通过”而另一个机器人恰好也因为同样的观测偏移而往右双方就完成了一次无通信的协商式让行。这种现象在训练初期很难出现因为随机初始化策略之间没有协调但经过大量交互经验池里的成功样本会把这种“交通事故中安全通过”的片段保存下来从而引导策略向协调行为进化。我单独做实验验证过一旦把其中某个机器人的权重做扰动哪怕变化量很小整个系统的协调能力会显著下降。这说明隐式协商不是个别机器人的特性而是全体共享策略作为一个整体产生的统计结果。这也提醒了我们共享参数虽然方便部署但也带来了鲁棒性隐患。如果实际环境里有第三方机器人用的不是这套策略系统性能会迅速退化到无协调状态。4. 实验设置与指标解读哪些结论经得起推敲哪些要谨慎4.1 测试场景的层次感从平面无障碍到静态障碍混合场景论文实验部分设计的测试场景很有层次感。我把它理解成三个进阶梯度第一梯度是空旷环境下的十字交叉与随机交错主要检验策略在无静态障碍干扰时对动态机器人的避让能力。第二个梯度中加入少量静态障碍物强迫机器人在避让其他机器人的同时还要同时考虑静态几何约束。第三梯度是密度较高的混合场景模拟仓库或商场这类相对拥挤、有规则几何障碍的环境。这种层次化设计对论文评价非常重要因为在纯空旷场景下的避碰很难拉开策略之间的差距所有方法都表现差不多一旦加入静态障碍和密度压力ORCA和经典方法就开始暴露弱点这时DRL策略的优势才能被定量化。作者在指标选择上也做了比较周全的设计不是只看碰撞率而是把成功率、平均到达时间、平均速度保持能力等一起列出来。4.2 关键指标对比成功率、路径耗时与能量消耗需要重点看的数据我认为有三类。第一类是成功率。在低密度场景下所有方法成功率都接近1区分度不大而在高密度场景下ORCA的成功率可能会下降到90%以下而训练充分的DRL策略可以在95%以上。不过需要注意的是这个成功率很大程度上依赖训练时是否覆盖了该密度区间。如果训练密度只到5台直接评估10台的场景策略成功率一样会垮——网络的泛化能力不是无限的。第二类是平均路径耗时。一个直观的现象是ORCA虽然能保证无碰撞但常常在一些交错场景中为了“绝对安全”而选择绕远路。而DRL策略因为在奖励函数里包含到达目标的时间因子会更倾向于从空隙中穿插。第三类是能量消耗。这个指标常被忽略但对实际机器人的续航极其重要。DRL策略输出的速度曲线平滑度更高启停次数少单位距离能耗通常比ORCA低。如果从“这套方法到底有什么贡献”角度看关键结论不是“DRL碾压ORCA”而是“在不依赖通信与全局信息的情况下DRL能逼近甚至超过依赖全局协作假设的ORCA”。这个结论的工程意义是被很多人错误解读的它不是说DRL永远更强而是说DRL可以承担部分去中心化场景下的平衡器角色。4.3 从仿真到真机需要重点考虑的生成性差异论文里如果没有真机实验那我通常会保持更高的警惕。因为仿真中观察到的“隐式协商”“平滑速度曲线”等内容到了真实世界会发生偏移感知噪声、控制延迟、轮胎打滑、传感器遮挡每一项都足以让训练结果失效。我自己做迁移时最深的体会是Sim-to-Real的差距往往不是差一个传感器模型那么简单而是差一种“策略的自适应性”。在仿真中如果机器人离目标太远策略可能依赖目标距离特征来导航到了真实环境观测有延迟同一个输入对应的真实状态已经变了。解决思路之一是Domain Randomization也就是在训练时随机化场景参数、感知误差、执行噪声让策略学会在不确定性下也能作出基本合理决策。5. 复现与踩坑记录深度强化学习避碰策略落地中的实际问题5.1 训练稳定性的头号杀手奖励权重失衡与超前碰撞惩罚我在复现这篇论文时第一版Reward设置几乎是照搬原论文的数值比例但训练就是不稳定前几百episode策略还可以后面突然所有机器人都待在原地不动。排查后发现是因为胜率上浮时碰撞惩罚的负梯度影响力变得过重策略开始完全规避风险宁可一直停在原点也不愿意移动。后来我把碰撞惩罚从-1.0下调到-0.7同时把到达奖励从1改成逐步的阶段奖励逻辑训练就稳了。让我意识到奖励数值的相对比例远比绝对值重要。碰撞惩罚相对于到达奖励的比值决定了策略“保守程度的平衡点”。微调这个比值就可能让策略从“疯跑乱撞”变成“缩在原地”在中间区域才能找到均衡。另一个常见坑是“提前量惩罚”缺失有的实现会对机器人过于接近物体时就开始累加惩罚导致策略学出来的行为是“所有机器人保持最大距离”从一个极端走向另一个极端。正确做法是碰撞时才给惩罚或者在临近碰撞但未碰撞时给很小的连续惩罚来帮助梯度信号传导但这个惩罚的斜率不能设置太陡。5.2 坐标系与邻居选择的工程细节分布式执行时邻居选择和观测编码是差之毫厘谬以千里的。论文中“K-neighbors”的选取建立在一个理想的无限视野模型上但实际部署时机器人只能靠机载传感器比如激光雷达或深度相机检测到的不是抽象邻居而是点云/图像。从点云上提取“相对速度”并不容易需要跟踪目标、维护ID、估计速度这一系列误差会严重污染网络输入。我在实现中做过一次对比使用仿真器提供的理想相对位置作为网络输入策略成功率98%换成用探测器获得的有噪声相对位置之后成功率掉到85%。需要对输入加噪声进行训练养成策略的鲁棒性。论文虽然没有大篇幅讲这部分但任何复现者都应该自己加上这个加固步骤。5.3 多机协同训练的资源管理与性能调优训练一个多机策略的成本通常比我最初设想的高很多。由于所有机器人在同一环境中交互整个环境动态呈现出强烈的耦合性一台机器人的决策会影响所有其他机器人的观测因此不能简单地用单机环境的并行加速方式糊弄过去。训练环境的并行程度、模拟线程数、GPU显存大小都会直接决定迭代速度。如果你是个人开发者用单机训练建议优先采用“环境内多机器人共享策略同时采样”的模式它天然可以增大并行度。另外可以限制单个episode的长度因为在稀疏奖励导航任务中过长的episode会让经验池被无用轨迹占据有效样本密度偏低。5.4 与ORCA做对比实验时容易被忽略的“公平性”不少复现者在对比DRL和ORCA时会不小心做出对ORCA不公平的设置比如没有充分调ORCA参数再比如没考虑感知噪声的差异。但在真机上ORCA用的是同样带噪声的观测。这种对比公平性的问题会直接影响结论的可信度。我做法是在对比前先给ORCA做一轮参数网格搜索找到它在各个场景中的较优参数组合同时在同等噪声水平下进行测试最后还要记录碰撞率、到达时间、能耗的分布区间而不是只汇报均值。这样得出的结论才能真正说明DRL相对传统方法的价值边界。6. 论文的边界条件与演进方向什么场景下该选它什么场景下不要选它6.1 静止障碍物与动态障碍物的交互复杂性论文训练策略的一个重要背景是多机器人彼此之间的避让占主导静态障碍主要是作为环境约束存在。实话说如果场景里的静态障碍非常复杂、通道狭窄、几何结构多变这种学习型策略的优势会下降。其原因是网络要同时拟合“对敌方动态交互”和“对地形几何约束”这两类不同尺度的特征可能会为了其中一类牺牲另一类。做这类任务时我建议把静态地图的几何特征单独用一个分支编码输入而不是直接和动态邻居信息拼在一起。这也和论文的很多后续工作方向一致——基于图神经网络的方法可以更自然地融合动态交互和静态布局。6.2 泛化到异质机器人群体时的局限论文假设机器人有相同的运动学模型这个条件在仿真中很容易满足但在实际场景中不同机器人的最大速度、加速度、尺寸都有差异。共享策略在这种异质群体中还能否保持“隐式协商”是一个值得怀疑的问题。实践中如果异构性很强有几个补救思路一是把机器人的物理参数作为扩展特征输入网络让它学会依据自身性能调整策略二是训练时随机采样机器人的动力学参数迫使网络学会自适应应对。这个方法就是在工程上很常见、效果也不错的手段。6.3 后续研究值得关注的方向从这篇论文延伸出来的方向大概有几个一是把通信图信息引入训练让机器人可以在必要时交换少量信息从而提升协同质量但不依赖持续高带宽通信。二是把策略迁移到带有动力学约束的机器人上比如履带式机器人、差速底盘甚至无人机不同平台带来的运动约束差别很大。三是与模型预测控制结合让DRL负责高层意图MPC负责底层轨迹跟踪形成混合策略框架。我在做后续实验时已经开始把这篇论文的策略作为底层智能体在上面叠加任务规划模块。效果比单纯用ORCA做底层强不少尤其在动态场景下整个系统的任务完成时间缩短了大概15%。这也说明这篇论文不是一个孤立模型它提供了多机器人系统里可以复用的“智能避碰组件”。最后回归到论文标题里那个“towards”我觉得这个词用得很妙。它既表明了DRL路线还达不到理论最优也暗示了ORCA那种局部的最优性不是系统的终点。到此这篇论文的阅读笔记也就写完了希望它对你做多机器人避碰或者相关强化学习项目能起到实在的参考作用。