如果你最近在折腾机器人导航或者自动驾驶相关的课题应该对路径规划不陌生给一张地图从起点走到终点别撞墙尽可能短。传统方法像A*、Dijkstra、RRT都能解决这套问题但一旦地图变化或者出现动态障碍物它们就得重新规划计算代价反复付出。DDPG深度确定性策略梯度作为深度强化学习里处理连续动作空间的经典算法把“规划”变成了“控制问题”训练一个策略网络输入状态输出动作整个过程不需要在线搜索也不用手写规则。这篇博文就基于一个Matlab实现的项目完整讲清楚怎么用DDPG在二维栅格地图上做路径规划——从地图建模、状态动作设计、奖励函数到网络搭建、训练调参再到坑点排查。这个项目很适合正在做强化学习课设、毕设或者想尝试“预测控制风格”路径规划的工程师参考。和传统规划算法相比它的核心卖点是“训练一次网络换新环境直接响应”不需要重新跑A*搜索。当然它也有自己的脾气调起来需要耐心。下面我按自己实际复现这个项目的顺序来写。1. 项目要点与算法选型分析为什么路径规划会用到DDPG1.1 传统路径规划方法卡在哪先说说我为什么一开始盯上了DDPG。以前做栅格地图路径规划大部分人的第一选择是A*或者Dijkstra。这些算法在静态地图上非常好用完备、最优、结果稳定Matlab里几十行代码就能跑通。但它们有两个让我不太舒服的毛病第一环境一旦变一点整条路径可能就废了需要重新在整张图上做搜索第二规划出来的路径是一堆离散栅格点转折很生硬想变成机器人能直接用的连续轨迹还要再花心思做平滑。RRT系列算法解决了高维空间的一部分问题但随机采样带来的抖动和概率完备性又会让路径质量不太稳定。人工势场法倒是快可局部极小值问题一直存在。我并不是说这些算法不好。它们各自有非常成熟的应用场景。但这几年做移动机器人避障的课题越来越看重“面对未知环境快速给出平滑动作”的能力。这种问题更像连续控制而不是离散搜索。强化学习恰好擅长这个让智能体在环境里试错学一个从状态到动作的映射。而DDPG就是强化学习里专门为连续动作空间设计的经典方法。1.2 DDPG解决连续控制问题的原理拆解DDPG这个名字听起来很唬人拆开看就清晰了Deep深度神经网络、Deterministic Policy Gradient确定性策略梯度。它结合了Actor-Critic结构、DQN的经验回放机制以及策略梯度方法在2016年被提出后在机器人控制领域用得非常多。它的核心思想是同时维护四个网络当前Actor、目标Actor、当前Critic、目标Critic。Actor负责输出动作。它的输入是状态输出是确定性的动作值比如“转向角增量”。Critic负责给动作打分。它的输入是状态加上动作输出是一个Q值表示“在这个状态采取这个动作之后预期能获得多少回报”。训练的时候Actor希望学到一个动作让Critic打分打得高Critic则希望自己的评分越来越准逐步逼近真实回报。那为什么要搞四个网络而不是两个因为有经验回放和目标网络这两套机制。经验回放就是把智能体在环境里交互得到的大量样本存到缓冲区里训练时随机抽取小批量来更新网络打破样本之间的相关性避免网络被一连串高度相关的经验带偏。目标网络的作用是提供一个“慢半拍”的学习目标让Critic在更新时不是直接追自己的实时输出而是追一个相对稳定的目标值减少训练震荡。DDPG里目标网络的更新方式是软更新每步都把一小部分当前网络参数混进目标网络里数学上就是θ_target τ·θ_current (1-τ)·θ_targetτ通常取0.001到0.01。理解到这你会发现DDPG本质上有点像“边试错边学开车”Actor是司机Critic是教练。教练看着司机的一系列操作和最终结果不断调整自己对“什么操作是好操作”的判断司机则根据教练的打分调整自己的驾驶习惯。两者交替进步最终得到一个能熟练开车的策略。1.3 二维栅格地图路径规划为什么适合DDPG路径规划如果从强化学习的视角看状态就是地图信息加机器人位置动作就是往哪个方向走、走多远。这里的动作空间天然是连续的角度任意、步长可调。如果动作写死成“上、下、左、右、左上、右上”这些离散离散选项那就等于强行把问题离散化用DQN也能做但路径痕迹会很粗。DDPG直接输出连续动作控制精度更高路径更平滑。另外DDPG这样的深度强化学习方法有一个传统规划器没有的特性它可以把一个“环境族”的经验融进同一套网络参数里。我在训练的时候用随机生成的栅格地图反复训练策略网络见过的障碍组合够多测试时换一张完全没见过的地图它依然能快速给出一条可用路径。这种泛化能力是A这类逐次搜索算法做不到的——A每次都要从头算。当然代价也很明显。DDPG样本效率低需要大量试错训练慢超参敏感而且不保证找到最短路径。所以它更合适的是“快速响应”“连续控制”“动态环境”这类场景而不是追求全局最优的静态导航。1.4 整体项目架构设计整个项目在Matlab里按这样的模块组织仿真环境脚本负责生成栅格地图、机器人运动学更新、碰撞检测、终点判断。状态构造函数从地图和机器人位姿中提取输入给网络的特征向量。网络定义脚本用深度学习工具箱搭建Actor和Critic的神经网络结构。训练主脚本控制回合循环、经验采样、经验回放、网络更新、目标网络软更新、探索噪声注入。评估脚本关闭探索噪声用训练好的网络在测试地图上跑路径记录路径长度和成功率。这种模块化思路很重要。调参的时候你要能单独修改地图生成方式、奖励权重或者网络结构而不会牵连到其他代码。我见过有人把环境逻辑和网络更新写在一个大循环里最后调参调到头大改一个地方连带出一堆问题。2. 栅格地图、状态空间与奖励函数设计工程成败的核心细节2.1 栅格地图的Matlab表示与预处理二维栅格地图在Matlab里就是一个矩阵行和列对应栅格的坐标矩阵元素0表示可通行1表示障碍物。比如一个20×20的地图就是20行20列的零一矩阵。我习惯单独写一个地图生成函数支持两种模式固定地图和随机地图。固定地图用于调试方便和A*算法对比路径效果随机地图用于训练每回合生成新的障碍物布局让智能体见识足够多的环境变化。随机地图生成也不复杂比如先把地图清零然后随机选中若干个栅格作为障碍物再用一个最小障碍尺寸做膨胀处理。膨胀处理是我踩过的最值钱的坑之一如果直接把原始障碍格给智能体训练出来的路径经常贴着障碍物边缘走稍微有点噪声就撞上去了。更合理的方式是在生成地图后对障碍物做一次“膨胀”把障碍物周边的栅格也标记为不可通行。这样规划出来路径天然留出安全裕量机器人走起来从容很多。膨胀可以简单地用循环把每个障碍物的上下左右邻居置为1。地图规模不大时这个操作代价很小但对训练效果影响巨大。2.2 状态空间设计全图、局部窗口、相对坐标状态空间怎么设计直接决定网络能不能收敛。我试过两种方案差别非常大。第一种方案是把整张栅格地图展平成一维向量比如20×20的地图展平成400个0/1值再拼接上机器人的x/y坐标和目标的x/y坐标一共404维输入。这个方案信息最全但问题也很直接网络要自己从400维的稀疏向量里去学习空间结构需要的数据量和网络容量都很大。在Matlab里跑起来训练回合动辄几千上万收敛慢到让人绝望而且泛化效果很差——网络容易记住训练地图的全局特征换张图就懵。第二种方案是局部感知加相对坐标。状态由三部分组成机器人周边一个5×5或7×7窗口的地形信息展平成25或49维、目标相对于机器人的方位Δx和Δy归一化到[-1,1]、以及当前机器人的航向与目标方向夹角的正弦余弦值。总维度在27到53之间。这个设计模仿了机器人“只看眼前一段路、同时大致知道目标在哪个方向”的行为模式。信息虽然少了但都是最直接、最可学习的特征。我实测下来用局部窗口训练收敛速度远快于全图输入而且因为输入不依赖整张地图的坐标换一张新地图时策略依然有效泛化能力强很多。这里有一个经验机器人和目标的绝对坐标尽量不要直接进网络。绝对坐标会引入地图尺寸的偏移训练和测试地图尺寸不一样时网络输出就乱套。相对坐标天然把问题归一化到以机器人为中心学习难度大幅降低。2.3 连续动作空间设计DDPG的输出层使用tanh激活函数输出值被限制在[-1,1]之间。我们需要把这个值映射成机器人实际的速度和转向。我用的是二维连续动作第一个分量是线速度比例第二分量是转向角。机器人运动学更新公式大概是v 0.2 0.8 * (a1 1) / 2把[-1,1]映射到[0.2,1.0]保证机器人不会原地不动。ω a2 * ω_maxω_max是最大角速度。位置增量Δx v * cos(θ) * ΔtΔy v * sin(θ) * Δtθ θ ω * Δt。在栅格地图上Δt对应步进的控制周期比如0.3秒。每一步计算完后检查机器人所在栅格是否被占用被占用就算碰撞回合终止。特别注意输出层的tanh把动作限制在[-1,1]但如果你在网络内部加一层全连接直接输出原始值训练初期动作可能会很大。我之前图省事没在输出层加tanh结果机器人一步就飞出地图边界奖励函数完全失控。所以Actor网络最后一层加tanhLayer是必须的。2.4 奖励函数设计的四个权重组合奖励函数是整个强化学习的“指挥棒”设计不对训练完全跑偏。我在这个项目里用了四个分量到达终点给予一个大的正奖励比如100同时终止当前回合。碰撞障碍物给予一个大的负奖励比如-100同时终止当前回合。每步时间惩罚给予一个小的负奖励比如-0.5鼓励机器人尽快到达目标。距离引导项在每步动作执行之后计算机器人与目标距离的变化量。如果机器人比上一步更靠近目标给予一个正奖励更远了则给予负奖励。比例系数取0.5左右。距离引导项是加快收敛的关键。如果没有它稀疏的“到达100、碰撞-100”奖励让网络很难定位到“哪一步动作导致了成功或失败”训练前期基本靠运气。有了距离引导项每一步都有一个梯度方向告诉网络“你刚才的动作是接近了目标还是远离了目标”学习速度快很多。不过这个引导项也有副作用它可能让机器人为了在单步内靠近目标而忽略碰撞风险所以碰撞惩罚的绝对值一定要大于距离引导的累计收益。我常用的配比是到达100、碰撞-100、时间惩罚-0.5、距离引导系数0.5。另外所有奖励在进入Q值计算前最好做一次裁剪或者归一化避免奖励尺度太大导致Critic的Q值爆炸。3. 策略网络搭建与Matlab训练闭环实现3.1 网络结构的工程选型和初始化我用Matlab的深度学习工具箱搭建网络结构没有用自定义反向传播省了不少麻烦。Actor网络采用这样的结构输入层接收状态向量经过三个全连接层每层256、128、64个神经元中间用ReLU激活输出层一个全连接层再接tanhLayer。Critic网络的输入是“状态拼接动作”同样经过几个全连接层最后一层只输出一个标量Q值。state_dim 27; % 5x5窗口25维 相对坐标2维 action_dim 2; % 线速度比例 转向角 actorLayers [ featureInputLayer(state_dim, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(128) reluLayer fullyConnectedLayer(64) reluLayer fullyConnectedLayer(action_dim) tanhLayer ]; actorNet dlnetwork(actorLayers); criticLayers [ featureInputLayer(state_dim action_dim, Normalization, none) fullyConnectedLayer(256) reluLayer fullyConnectedLayer(128) reluLayer fullyConnectedLayer(64) reluLayer fullyConnectedLayer(1) ]; criticNet dlnetwork(criticLayers);注意两点。第一Normalization设为none因为所有输入特征我已经在预处理阶段手动归一化了不需要网络内部再算均值方差。第二Critic输入层是状态和动作拼接后的向量维度是state_dim加action_dim。在训练循环里用[state; action]做一次纵向量拼接再调用模型。3.2 经验回放池与训练主循环结构经验回放池我用一个Matlab的元胞数组存储容量设50000到100000。每存一条经验包含五项当前状态、动作、奖励、下一状态、是否终止的标记。训练主循环的核心结构如下for episode 1:maxEpisodes state resetEnvironment(env); episodeReward 0; for step 1:maxSteps % 用当前Actor输出动作并添加探索噪声 action predict(actorNet, dlarray(state)); action extractdata(action); action action exploreNoise(); action max(-1, min(1, action)); [nextState, reward, done] env.step(env, action); storeExperience(buffer, state, action, reward, nextState, done); episodeReward episodeReward reward; state nextState; if mod(step, updateInterval) 0 [miniBatch] sampleExperience(buffer, batchSize); updateNetworks(actorNet, criticNet, actorTarget, criticTarget, miniBatch); end if done break; end end fprintf(Episode: %d, Reward: %.2f\n, episode, episodeReward); end这里的顺序值得说清楚先交互、存经验隔几步才做一次参数更新。updateInterval一般设1即每个步长都更新但批量大小给64或128。如果地图很大、动作步数很多可以适当把更新频率拉低让经验池更充实再更新。3.3 Critic和Actor的更新公式实现Critic更新用的是贝尔曼方程。对于每个小批量样本先计算目标值yy reward gamma * (1 - done) * predict(criticTarget, cat(nextState, predict(actorTarget, nextState)));Gamma是折扣因子设0.99。然后以目标值y为监督信号让当前Critic网络的输出接近y这一步用的是标准MSE损失Matlab里可以用dlgradient加crossentropy的替代方式——因为Critic是回归问题我在实践里用mse损失函数。Actor更新的核心思路来自确定性策略梯度定理Actor的梯度等于Critic对动作的偏导乘以Actor对网络参数的偏导。实现代码大致长这样% 假设已经拿到当前状态miniStates actorOutput predict(actorNet, miniStates); criticOutput predict(criticNet, cat(miniStates, actorOutput)); actorLoss -mean(criticOutput); gradActor dlgradient(actorLoss, actorNet.Learnables);因为Critic打分衡量的是“动作好还是坏”所以Actor要让Critic打分尽可能高目标就是最小化负Q值。对深度学习的工具箱来说这里关键是使用dlgradient配合自定义训练循环环境执行自动微分很多网上代码都以TensorFlow为主Matlab版本相对少但只要理清了这套损失和梯度关系照葫芦画瓢也能写出来。3.4 目标网络软更新目标网络和当前网络结构一样初始参数也一样。每次更新完当前网络后对目标网络做软更新tau 0.001; if isa(actorTarget, dlnetwork) % 用dlupdate按元素更新 actorTarget dlupdate((W, Wt) Wt * (1 - tau) W * tau, actorNet, actorTarget); criticTarget dlupdate((W, Wt) Wt * (1 - tau) W * tau, criticNet, criticTarget); end如果你不习惯dlupdate也可以把网络参数取出来一个个赋值。效果一样就是代码长一点。tau值的选择影响稳定性太小目标网络更新太慢导致训练初期目标Q值不准确太大会失去“平滑目标”的意义。我在项目里用0.001到0.005之间都没出大问题。3.5 探索噪声OU过程与训练进度的配合DDPG训练前期最重要的就是探索。如果Actor一直输出同一个动作它永远不会发现“撞墙”和“到达终点”的边界在哪。我早期偷懒用了零均值高斯噪声发现机器人行动轨迹非常毛糙像喝醉了一样乱晃。后来换成了OU噪声Ornstein-Uhlenbeck过程它是时间相关的随机过程产生的噪声序列有惯性更符合机器人转向动作的物理特性规划轨迹平滑很多。OU噪声的离散化实现非常简单function [noise] ouNoise(x, theta, mu, sigma, dt) noise x theta * (mu - x) * dt sigma * sqrt(dt) * randn(size(x)); end其中x保存上一时刻的噪声值。初始theta0.15sigma0.2mu0dt0.3。在训练前期保持较大sigma随着回合数增加逐渐降低sigma到训练后期降为零直接使用确定性策略做评估。需要注意的是噪声范围要匹配动作边界。我们的动作本身限制在[-1,1]噪声加入后一定要用clip函数把动作重新限制回去否则执行动作时会越过物理边界环境更新出NaN甚至整个训练崩溃。4. 训练曲线分析、规划效果评估与泛化测试4.1 训练过程中的阶段性表现我最初跑这个项目的时候盯着奖励曲线看了很久。总的规律大致分三个阶段。第一个阶段是前几百回合奖励长期在负值区域徘徊最常见的情况是机器人走几步就撞墙偶尔成功一次自己都对不上因果。这个是正常的网络还在初始化探索期它在疯狂收集试错样本。第二个阶段大概在几百到一千多回合奖励曲线开始明显爬坡。机器人学会优先朝目标方向移动开始绕着障碍物形成简单路线这时候奖励曲线波动很大但趋势是向上的。第三个阶段进入平台期奖励逐渐稳定在某个区间不是完全不动而是小范围波动。训练过程中我发现一个非常典型的问题奖励曲线在某一个值附近来回震荡上不去。这时候不要急着加网络层数先检查是不是探索噪声衰减太快。噪声衰减太快策略会过早锁定到一条不太好的子优路径上。我每次做噪声衰减都用一个余弦退火曲线而不是线性衰减前期多探索、后期微调。4.2 规划效果量化对比路径长度、成功率、规划时间训练完成之后我拿一张10×10的测试地图做了量化对比预先手动设计了一个最优路径作为参考用A*算法计算再让训练好的DDPG策略跑100次随机起点和终点组合。我得到的典型结果如下指标A*参考基准DDPG策略平均路径长度约13.5格约15.8格大约多15%路径转折次数多离散格点反复转折少轨迹连续光滑规划耗时需重新搜索约几十毫秒到百毫秒级前向推理毫秒级动态障碍物变化后表现需要重新搜索全图直接输出新动作无需重搜这个结果非常有代表性。DDPG并不是追求全局最短路径的算法它在路径长度上大概率不如A*。但它的优势在于一旦障碍物移动了A*要重新跑一遍搜索而DDPG只是在网络前向传播里多走一次代价几乎可以忽略。如果你做的课题是动态环境下的实时避障这个Trade-off非常值。4.3 泛化能力测试新地图、新起终点为了验证泛化能力我在训练结束后重新生成了20张全新的随机栅格地图每张地图的障碍物覆盖率在10%到25%之间变化。测试时我关闭探索噪声让策略网络用确定性输出跑完路径。测试统计发现20张图中大约有17张可以成功规划出一条无碰撞路径成功率85%左右。失败的几张小地图基本都是障碍物分布特别密集、出口非常狭窄的场景。这说明一个问题深度强化学习学的是“经验模式”如果训练地图里窄缝出现得少网络长大后就会对窄缝环境缺乏处理能力。解决办法是训练地图生成时刻意提高障碍物密度和随机化程度让网络见过各种极端情况。泛化测试还说明了为什么状态设计要用局部窗口而不是全图。全图输入下网络把整个地图的坐标关系都记住了换地图等于换了一个输入分布策略直接失效。局部窗口加相对坐标的状态设计本质上是让策略学“感知-决策”的规则而不是学“背地图”。5. DDPG路径规划常见问题与调参避坑经验5.1 高频问题速查表我在调这个项目时前后踩了不少坑把高频率问题整理成了下面这张速查表按“现象、原因、解决办法”三列列表化给你参考。问题现象大概率原因解决办法训练数千回合奖励一直负值不涨奖励信号过稀疏探索不足增加距离引导奖励调高初始探索噪声奖励曲线剧烈震荡上下反复横跳学习率过高或批量样本太小把学习率降到1e-4以下批量调到64以上Critic的Q值越学越大爆炸增长奖励尺度太大或目标网络更新太快对奖励做裁剪或归一化tau调到0.001Actor输出总是贴在边界值目标Q值没学准探索噪声太大增大tau先让目标网络跟上再渐进调大噪声机器人总是原地绕圈不朝目标走距离引导权重太小时间惩罚太重增加距离引导系数减小每步惩罚训练到中途出现NaN状态或动作有异常值或梯度爆炸检查归一化加入梯度裁剪或用更大批量换新地图后成功率暴跌状态设计依赖了地图全局坐标或训练地图单一改用局部窗口相对坐标多随机地图训练5.2 三个最容易忽略的工程细节第一个细节是归一化。所有输入状态在送给网络之前必须统一缩放。栅格坐标除以地图边长距离差除以地图对角长度角度差除以π目标的相对位置除以一个合理的最大距离。很多初学者直接把原始坐标丢进网络训练时损失函数符号一会正一会负梯度方向乱跳很难收敛。我自己后期把归一化写成一个独立函数任何状态必须经过它才能进网络排查问题再也不用来回猜。第二个细节是经验池要“连失败一起存”。强化学习新手很容易有个错误倾向只把成功回合的经验存进缓冲区觉得失败经验没用。恰恰相反失败样本里包含了“什么样的动作会导致碰撞”的边界信息。没有这些负样本网络永远不会知道障碍物的危险区域在哪。我在实现里保证了每一条经验都以相同概率被采样包括那些奖励极低的“惨烈失败”样本。第三个细节是评估和训练得分开跑。训练时Actor动作加入了噪声画出来的路径歪歪扭扭很正常。真正看策略好不好一定要把噪声完全关掉用确定性输出跑一条路径。我习惯每训练50回合就做一次无噪声评估这样能及时发现策略退化。如果无噪声评估路径非常差而训练平均奖励看着还行那说明策略对噪声的依赖度高训练还不充分。5.3 从实际调参中沉淀的几点心得调DDPG和调传统算法有一个很本质的区别传统算法参数错了报错很明显调一两个参数就能好DDPG参数错了训练还是能跑画出来的曲线慢慢慢慢在偏一天时间就浪费了。所以我的心得是训练前把所有参数写成一个配置文件每次只改一个参数记录日志不靠感觉乱调。我推荐一个比较稳的参数起点Actor学习率1e-4Critic学习率1e-3折扣因子gamma0.99tau0.001批量大小64经验池容量50000每回合最大步数200OU噪声初始sigma0.2训练后期衰减到0.01这个起点在小地图上基本能收敛。之后再逐步尝试调整学习率。5.4 后续扩展建议项目做到最后我已经不满足于基础DDPG了。如果继续往下做有两条我觉得很值得走的路。第一条是把Actor网络的输入从全连接网络换成小卷积网络让网络直接从地图图像中提取障碍分布特征这样状态设计就可以回到全图输入而不会因为维度太高而无法训练。第二条是引入优先经验回放把那些让网络“惊讶”的经验比如距离目标突然接近的事件提高采样权重这能明显加快收敛速度。另外如果你不需要连续动作目标只是比较路径规划效果也可以对比一下DQN或者PPO在同一个地图上的表现。但DDPG在“输出连续动作、路径平滑”这一点上的优势是实打实的。做完这个项目我最深的体会有两点。第一DDPG在二维栅格路径规划里并不是来“取代A*”的它是给你换了一条解决问题的路不再为每种新环境写规划器而是把一个环境族训练进一个网络里。第二这个项目的难度不在算法理论而在工程细节地图怎么生成、状态怎么编码、奖励怎么配比、噪声怎么衰减、经验怎么采样每一个环节都能让训练崩溃。只要你有耐心把这些问题一个个磨平看到训练好的策略在陌生的地图上绕开障碍走出平滑轨迹的那一刻你会觉得之前熬的调参夜都值了。