1. 项目背景与核心价值路径规划作为机器人导航和自动驾驶领域的核心问题传统算法如A*、Dijkstra在已知环境中表现良好但在动态不确定环境中往往显得力不从心。深度Q学习Deep Q-Network, DQN通过将深度神经网络与强化学习结合让智能体能够通过与环境的持续交互来学习最优路径策略。这种端到端的学习方式特别适合处理二维栅格地图这类离散状态空间问题。我在无人机物流配送系统的开发中发现当遇到突发障碍物时传统算法需要重新计算全局路径而训练良好的DQN模型可以实时调整路线。Matlab凭借其完善的神经网络工具箱和矩阵运算优势成为快速验证DQN算法的理想平台。下面我将分享如何用Matlab实现一个能在10×10栅格地图中自主避障的路径规划智能体。2. 环境建模与算法设计2.1 栅格地图的数学表达采用矩阵表示地图环境其中0可通行区域1静态障碍物2动态障碍物3目标点map [0 0 1 0 0 0 0 0 0 0; 0 0 1 0 0 1 0 0 0 0; 0 0 0 0 0 1 0 1 0 0; 0 1 1 1 0 1 0 1 0 0; 0 0 0 0 0 1 0 0 0 0; 0 0 1 1 1 1 0 0 0 0; 0 0 0 0 0 0 0 0 1 0; 1 1 0 0 0 0 0 0 1 0; 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 3 0 0 0 0 0];2.2 DQN网络架构设计采用双网络结构MainNet和TargetNet解决训练不稳定的问题layers [ imageInputLayer([10 10 1], Normalization,none) convolution2dLayer(3, 32, Padding,same) reluLayer() convolution2dLayer(3, 64, Padding,same) reluLayer() fullyConnectedLayer(128) reluLayer() fullyConnectedLayer(4) % 对应上下左右四个动作 ];关键技巧输入层直接接收整个栅格地图的状态矩阵通过卷积层提取空间特征比全连接网络更能捕捉障碍物的位置关系。3. 强化学习机制实现3.1 奖励函数设计这是影响训练效果最关键的环节情况奖励值说明到达目标100鼓励完成任务撞到障碍物-50避免危险行为每一步移动-1鼓励高效路径重复位置-5防止原地打转function reward getReward(newState, oldState, map) if isGoalReached(newState, map) reward 100; elseif isCollision(newState, map) reward -50; elseif newState oldState reward -5; else reward -1; end end3.2 经验回放实现使用环形缓冲区存储转移样本state, action, reward, next_stateclassdef ExperienceBuffer handle properties buffer capacity 10000 idx 1 end methods function add(obj, experience) if isempty(obj.buffer) obj.buffer repmat(experience, obj.capacity, 1); else obj.buffer(obj.idx,:) experience; end obj.idx mod(obj.idx, obj.capacity) 1; end function batch sample(obj, batchSize) indices randi([1, min(obj.capacity, length(obj.buffer))], 1, batchSize); batch obj.buffer(indices,:); end end end4. 完整训练流程4.1 参数配置表参数值作用γ折扣因子0.95平衡即时/未来奖励初始ε0.9探索概率ε衰减率0.995逐步降低探索最小ε0.01保持基本探索批大小64每次训练样本数更新频率100步TargetNet同步间隔4.2 主训练循环for episode 1:1000 state randomStartPosition(map); done false; total_reward 0; while ~done % ε-贪婪策略选择动作 if rand() epsilon action randi(4); else qValues predict(mainNet, state); [~, action] max(qValues); end % 执行动作获取新状态 [newState, reward, done] step(state, action, map); % 存储经验 expBuffer.add({state, action, reward, newState, done}); % 训练阶段 if length(expBuffer.buffer) batchSize batch expBuffer.sample(batchSize); trainBatch(mainNet, targetNet, batch, gamma); end state newState; total_reward total_reward reward; end % 定期更新目标网络 if mod(episode, updateInterval) 0 targetNet copy(mainNet); end % ε衰减 epsilon max(min_epsilon, epsilon*epsilon_decay); end5. 实战调试技巧5.1 训练不收敛的排查清单奖励设计问题检查是否出现奖励稀疏如只有终点有正奖励可添加中间奖励网络容量不足增加卷积层通道数或全连接层节点数学习率过高尝试从0.001逐步下调ε衰减过快调整衰减率使智能体有足够时间探索5.2 性能优化技巧状态预处理对地图矩阵进行归一化除以最大障碍物值动作屏蔽对无效动作如撞墙设置Q值为-Inf课程学习先在小地图训练逐步扩大地图复杂度并行训练用parfor同时跑多个环境实例% 示例动作屏蔽实现 function qValues maskedPredict(net, state, validActions) qValues predict(net, state); qValues(~validActions) -Inf; end6. 效果评估与可视化6.1 评估指标设计指标公式说明成功率成功次数/总次数基础性能平均步数总步数/成功次数路径效率奖励波动std(每轮总奖励)训练稳定性6.2 Matlab可视化实现function plotPath(map, path) imagesc(map); hold on; colormap([1 1 1; 0 0 0; 1 0 0; 0 1 0]); % 白-黑-红-绿 % 绘制路径 for i 1:length(path)-1 plot([path(i,2) path(i1,2)], [path(i,1) path(i1,1)], ... b-o, LineWidth, 2); end % 标记起点终点 plot(path(1,2), path(1,1), gs, MarkerSize, 10); plot(path(end,2), path(end,1), yd, MarkerSize, 10); end避坑指南当出现智能体绕远路现象时检查是否因为负奖励设置过大导致过于保守。适当调整步数惩罚系数或添加发现新区域的正向奖励。