简介一份面向强化学习研究者和MATLAB/Simulink开发者的多智能体路径跟踪控制示例包聚焦ACC与LKA两类智能体的协同训练帮助读者理解如何为多个智能体设计奖励、重置环境并完成策略学习。压缩包共7个文件包含4个m脚本、1个mat模型、1个slx模型和1个mlx交互式脚本分别覆盖智能体创建、参数配置、环境重置、训练结果存储与可视化仿真等环节整体约595KB。已有1127人学习下载适合希望结合代码与Simulink仿真实例快速入门多智能体强化学习的读者。通过这个示例可以获得可直接运行的多智能体训练流程包括Actor-Critic与车道保持辅助两类控制器的建模思路、训练参数调节方法以及从环境交互到策略保存的完整闭环。1. TrainMultipleAgentsForPathFollowingControlExample.zip 是什么它不是压缩包教程而是一套能跑通的多智能体路径跟随控制示例第一次看到 TrainMultipleAgentsForPathFollowingControlExample.zip 这个名字很容易把它当成又一个随便打包的模型文件真把它解压之后才会发现这是一套把多智能体强化学习和路径跟随控制完整接起来的可运行示例。这里的 Multiple Agents 不是分布式车队而是把一辆车的控制拆成几个智能体分别负责横向和纵向让它们在同一个仿真环境里协作完成路径跟随。它能直接回答一个实际问题单智能体同时输出转向和加速度为什么难收敛拆成多个智能体之后怎么设计状态、奖励和训练流程。适合正在做自动驾驶横向控制、AGV 路径跟踪或者刚想从单智能体 RL 跨到多智能体 Simulink 仿真的工程师。2. 解压与跑通最小示例从 zip 到 Simulink 环境就绪的三个动作2.1 解压前先看三个信息目录、路径和文件构成这类示例包在网上下载时通常是单个 zip 文件几十 MB 到几百 MB 不等。双击解压之前先确认三件事解压后有没有多层嵌套目录路径里是否带中文或空格以及里面装的是 .slx 模型还是只有脚本和文档。Windows 右键菜单的“全部解压缩”不是不能用但很多人第一关就翻车在这用户名如果是中文解压出来的路径变成C:\Users\张三\...MATLAB 的 addpath 和 Simulink 模型回调很容易报找不到文件路径太长也会触发 Windows 的 MAX_PATH 限制。我一般建议直接放到D:\MATLAB_Projects\MultiAgentPathFollowing这种短而纯英文的路径下。如果你在 Linux 或 macOS 上做仿真解压动作最好交给命令行后面跑批处理也方便。文件构成方面打开解压目录先看有没有 README 或 setup 脚本有 .slx 说明模型可以直接打开如果只有 .m 和 .mat说明主模型可能是脚本自动生成的这时要按 README 先跑初始化脚本而不是急着去找 .slx。2.2 用命令行把 zip 变成可运行工程unzip 加三段 MATLAB 命令Linux 或 macOS 下我习惯用 unzip 指定目录解压避免文件散落在当前目录mkdir -p ~/work/multiagent_path unzip TrainMultipleAgentsForPathFollowingControlExample.zip -d ~/work/multiagent_path cd ~/work/multiagent_path ls -lh-d参数指定解压目标目录这是最常用的 linux 解压缩姿势ls -lh用来确认解压结果重点找 .slx、.m、.mat 和 README 四类文件。如果解压出来只有一个 .m 文件加一堆数据说明这个示例的模型大概率是脚本生成的直接按 README 执行脚本即可。Windows 下同样可以用 PowerShell 的Expand-Archive完成Expand-Archive -Path TrainMultipleAgentsForPathFollowingControlExample.zip -DestinationPath D:\MATLAB_Projects\MultiAgentPathFollowing -Force-Force的作用是覆盖已有文件防止重复解压时弹确认框。解压完成后进入 MATLAB执行下面这段cd(D:\MATLAB_Projects\MultiAgentPathFollowing); addpath(genpath(pwd)); % 如果包内提供环境初始化脚本先执行它 if exist(setup_path_following.m, file) setup_path_following; end open_system(MultiAgentPathFollowing.slx); % 以实际解压出的模型文件名为准逻辑说明Simulink 模型加载依赖 MATLAB 路径搜索直接双击 .slx 往往只能打开模型图却找不到模型回调里引用的数据脚本和工作区变量。genpath(pwd)会把当前目录所有子目录递归加进路径专门对付 zip 解压后多层嵌套导致漏目录的问题。exist判断是为了防止 setup 脚本命名和我的假设不一致时报错实际示例包里脚本可能叫startHere.m或main.m解压后先扫一眼文件名再执行。如果提示 Mat 文件找不到常见原因是预训练参数在打包时记录了绝对路径解压位置一变就失效得重新加载一次工作区变量load(pretrainedAgents.mat); % 文件名以解压结果为准 assignin(base, agentSteer, agentSteer); assignin(base, agentSpeed, agentSpeed);Simulink 中 RL Agent 块的参数由工作区变量提供变量不存在时模型初始化直接报错。assignin(base, ...)的作用是确保变量进基础工作区而不是只存在于当前脚本的函数工作区。这一步是很多人第一个仿真跑不起来的隐藏原因模型图能打开一运行就红。2.3 第一次运行 Simulink 示例前先给环境做体检跑示例前用ver命令确认工具箱是否装全。这个包通常依赖 Reinforcement Learning Toolbox、Simulink Control Design 和 Stateflow如果缺少 Reinforcement Learning Toolbox运行时会报Undefined function rlNumericSpec或 RL Agent 块直接变黄。这不是模型的问题是产品缺失。体检完成后直接运行simOut sim(MultiAgentPathFollowing.slx);第一次跑通不关注性能只看三个信号模型能否在几秒内编译通过Scope 里横向误差和横摆角是否在有限范围内波动车辆轨迹是否贴合参考路径。三个都正常说明预训练 agent 和模型是匹配的示例本身已经通了。到这一步为止还没有进入训练环节因为这类示例包默认带预训练参数先跑通再谈训练后面调参才有一根准绳。3. 多智能体拆解为什么路径跟随要拆成转向和速度两个 Agent3.1 横纵向耦合单智能体高维动作为什么难学到头路径跟随控制的本质是横纵向耦合问题。转向角变化会改变侧向加速度进而限制车辆能安全通过的弯道速度反过来速度变化会改变转向响应增益同一把方向盘在 30 km/h 和 80 km/h 下产生的横摆角速度完全不同。如果用一个智能体同时输出转向角和加速度动作空间是二维连续域两个动作的物理量纲不同、对 reward 的贡献尺度也差一个量级critic 要同时拟合两个目标的梯度训练难度成倍上升。拆成多个智能体之后问题变成了两个并行的子问题横向 Agent 只看路径偏差输出转向角纵向 Agent 只看速度误差和道路曲率输出油门/制动。这个结构和经典控制里“横向 Stanley 纵向 PID”是同构的好处很明显每个 Agent 的动作维度降到了 1critic 要拟合的映射简单得多奖励可以分开给不用在一个 reward 里纠结转向惩罚和加速度惩罚怎么加权部署后还能单独替换其中一个策略另一个保留不动故障隔离也容易。这也是这个示例值得跑一遍的核心原因它不是花哨的编队算法而是把经典控制里的解耦思想搬进了强化学习框架。对比之下单智能体方案要同时收敛两个动作收敛曲线通常很长多智能体方案各自收敛快但问题转移到智能体之间的奖励分配和状态共享上后面会专门说坑。3.2 观测空间与动作空间先明确每个 Agent 看什么、动什么路径跟随里的状态观测设计核心是给每个 Agent 一组能支撑它做决策的最小充分信息。横向 Agent 至少需要横向偏差、航向角偏差、参考路径曲率、当前车速。纵向 Agent 至少需要速度误差、参考速度、道路曲率有时再加上横向偏差防止速度过快导致横向策略救不回来。在 MATLAB 中用rlNumericSpec声明% 横向 Agent 观测横向偏差、航向角偏差、曲率、车速 obsSteer rlNumericSpec([4 1], ... LowerLimit, -inf*ones(4,1), ... UpperLimit, inf*ones(4,1)); obsSteer.Name lateral_observation; % 横向 Agent 动作前轮转角单位弧度约正负 40 度 actSteer rlNumericSpec([1 1], ... LowerLimit, -0.7, ... UpperLimit, 0.7); % 纵向 Agent 观测速度误差、参考速度、曲率、横向偏差 obsSpeed rlNumericSpec([4 1], ... LowerLimit, -inf*ones(4,1), ... UpperLimit, inf*ones(4,1)); obsSpeed.Name longitudinal_observation; % 纵向 Agent 动作加速度单位 m/s^2 actSpeed rlNumericSpec([1 1], ... LowerLimit, -3, ... UpperLimit, 3);参数说明rlNumericSpec的 LowerLimit 和 UpperLimit 既要给维度也要给物理范围。动作限幅不只是安全约束它还直接影响探索效率范围设太大 agent 前期会输出一堆不切实际的转向角范围设太窄策略表达受限。转向角给到 ±0.7 rad加速度给到 ±3 m/s²是乘用车路径跟随里比较常见的区间。观测维度宁少勿多和路径跟随无关的车身侧偏角、横摆角速度先不加少一个维度的冗余就少一分训练期要挣扎的噪声。3.3 奖励函数归一化优先动作惩罚次之别让 reward 量级失控奖励函数是这个示例里唯一真正需要亲手抠的环节。常见做法是给横向偏差和航向角偏差各一个权重项再加一个动作惩罚项抑制抖动。我一般会这样写 Simulink 里 MATLAB Function 块的奖励计算function reward pathFollowingReward(latErr, headingErr, velErr, steering, accel) % 横向偏差归一化到 [-1, 0]2 米按最差处理 latTerm -min(abs(latErr) / 2.0, 1); % 航向偏差归一化超过 30 度按最差处理 headingTerm -min(abs(headingErr) / (pi/6), 1); % 速度误差归一化到 [-1, 0]5 m/s 按最差处理 speedTerm -min(abs(velErr) / 5.0, 1); % 动作惩罚抑制高频抖动和大幅转向 actionPenalty -0.02 * (steering^2 accel^2); reward 1.5 * latTerm 0.8 * headingTerm 0.5 * speedTerm actionPenalty; end逻辑说明每个误差项先归一化到 [0,1] 区间再加权是防止某一项量纲天然大导致 critic 被这一项主导。比如横向偏差如果直接取绝对值0.01 m 到 1 m 的变化就会让 reward 跳几个量级训练曲线看起来就像心电图。归一化之后1.5 和 0.8 的权重才有实际意义。动作惩罚系数设 0.02是因为转向角平方在 0.5 rad 附近贡献约 0.005不至于压过误差项但能滤掉高频抖振。奖励函数改一次整个训练结果都会变建议把每次改动的版本存成独立文件别在 Simulink 里直接改。4. 训练参数与复现命令把 TD3 跑稳的关键配置4.1 选 DDPG 还是 TD3连续控制任务的经验选择路径跟随是典型的连续状态连续动作问题DDPG 是这类任务的老牌选择TD3 是 DDPG 的稳定化改进。示例包如果提供两种 agent 配置优先用 TD3它对 Q 值高估做了 target policy smoothing更新 policy 的频率也刻意放慢训练初期的翻车率比 DDPG 低不少。MATLAB 里创建默认网络结构的 TD3 agent 很简单agentSteer rlTD3Agent(obsSteer, actSteer); agentSpeed rlTD3Agent(obsSpeed, actSpeed);用默认网络结构时 MATLAB 会自动生成 actor 和 critic 的层结构对路径跟随这种中低维问题通常够用车辆模型更复杂时再改为自定义 representation。注意两个 agent 的类型要一致多智能体训练里混用 DDPG 和 TD3 虽然技术上可行但两个更新节奏不同的策略放到同一个环境里调试时很难判断是哪一边不稳定。4.2 训练选项参数表经验池、batch size、停止条件训练选项用rlTrainingOptions统一配置。常用参数我列成表方便对照着改参数推荐取值说明MaxEpisodes2000给足预算路径跟随前几百个 episode 通常还在探索MaxStepsPerEpisode1024按单条参考路径以 0.05s 步长跑 50 秒左右折算ScoreAveragingWindowLength20平均窗口太短曲线毛刺多太长收敛判断滞后ExperienceBufferLength1e6经验池要能容纳多个 episode 的转移路径跟随场景建议不小于 50 万BatchSize256默认 128 也能跑256 稳定梯度但单步训练耗时略增LearnRateactor 1e-4critic 1e-3两个网络分开设critic 学得快一点actor 求稳StopTrainingCriteriaAverageReward用平均 reward 判断收敛比单 episode reward 平滑StopTrainingValue视 reward 量级而定先跑 200 个 episode 看平台期再把这个值设在平台期的 90%SaveAgentCriteriaEpisodeReward每出现一个高分 episode 就保存一次相当于后悔药SaveAgentValue平台期 reward 的 80%避免只保存最终 agent中间 checkpoint 往往更稳代码里对应配置trainOpts rlTrainingOptions(... MaxEpisodes, 2000, ... MaxStepsPerEpisode, 1024, ... ScoreAveragingWindowLength, 20, ... ExperienceBufferLength, 1e6, ... BatchSize, 256, ... LearnRate, 1e-3, ... % critic ActorLearnRate, 1e-4, ... % actor StopTrainingCriteria, AverageReward, ... StopTrainingValue, 120, ... SaveAgentCriteria, EpisodeReward, ... SaveAgentValue, 90, ... Plots, training-progress);参数说明ActorLearnRate单独设置是 DDPG/TD3 家族比 PPO 灵活的地方actor 更新慢一点能减少策略剧烈摆动。SaveAgentValue建议别设太高否则训练早期不会保存任何 checkpoint设成平台期 reward 的 80% 左右能保证至少留下几个可回退的中间版本。4.3 多智能体训练的 train 命令顺序对了才能训练多智能体训练在 R2023a 及之后的 Reinforcement Learning Toolbox 中支持直接把 agent 数组传给train% 假设 setup 脚本已经创建好 rlSimulinkEnv 对象 env agentList [agentSteer, agentSpeed]; result train(agentList, env, trainOpts);agent 数组的顺序必须与 Simulink 模型中 RL Agent 块的顺序一一对应。模型里如果先放横向 Agent 再放纵向 Agent数组里第一个就是agentSteer。顺序错了最典型的症状是训练曲线能画出来但两个 agent 在仿真里表现像是角色互换转向着速度、速度者转向这种问题报错级别不明示光看训练进展图很难察觉。训练过程中主要盯三个信号AverageReward 是否进入平台期Simulink 里横向误差是否持续小于 0.5 m两个 agent 各自的动作是否出现饱和。动作频繁顶到上下限说明 reward 里的动作惩罚不够或者观测没有表达清楚“此时不该全力打方向”。如果训练速度太慢可以打开trainOpts.UseParallel true;并行训练能显著提速但多智能体场景下并行存在 agent 参数下发不同步的隐患。建议先把单 episode 跑到稳定收敛之后再加并行否则 CPU 集群环境下你分不清是环境问题还是并行同步问题。训练结束用result里保存的 episode 数就能知道是否正常收敛正常路径跟随的 reward 曲线应该在几百个 episode 内进入平台期之后小波动属于正常。5. 多智能体训练不收敛的避坑指南五个高频翻车点5.1 现象解压后 Simulink 打不开或路径报错明明 zip 解压成功了双击 .slx 却弹出 “Invalid Simulink object name”或者 MATLAB 找不到模型回调脚本。原因分两种一是解压路径带中文或空格模型里保存的引用路径失效二是解压工具把文件属性弄成了只读Simulink 生成临时文件失败。解决方法是把整个目录挪到纯英文短路径下然后执行addpath(genpath(pwd))再用fileattrib去掉只读属性fileattrib(*, w); % 当前目录加写权限 fileattrib(genpath(pwd), w);这条只对当前目录和子目录生效。在 Linux 下解压时对应检查一下权限位ls -l看到模型文件是 r-x 就补一次chmod -R urw .。顺带提醒网上有些 zip 是伪加密或者注释里带了多余信息解压出来大小正常但文件打不开换 7-Zip 或 unzip 重新解压一次多数能解决。5.2 现象端口维度对不上仿真一步都跑不动报错信息是 “Error in port widths or dimensions”或者 Observation 端口宽度不是预期值。原因是rlNumericSpec里定义的观测维度和 Simulink 环境里实际接的信号维度不一致。最常见的是你改观测时加了曲率但模型里忘了接这条线或者纵向 Agent 的观测里多加了一个字段Simulink 的 Bus 信号仍然按旧结构输出。解决方法是先打印一下 agent 的信息obsInfo getObservationInfo(agentSteer); actInfo getActionInfo(agentSteer); disp(obsInfo(1).Dimension); disp(actInfo(1).Dimension);把打印出的维度和 Simulink 模型里 RL Agent 块的观测端口信号维度逐一对照。MATLAB 的报错不会指出具体是哪一根线错了一个维度一个维度地核对最可靠。注意 Bus 信号里的字段顺序也参与维度拼接字段顺序和rlNumericSpec声明顺序不一致同样会报错这是新手最容易漏掉的一点。5.3 现象reward 始终是负的训练曲线像心电图预训练 agent 跑得好好的自己从头训练却一直不收敛。原因大概率是奖励函数量级没控制住。横向误差项如果用绝对值不归一化误差 0.1 m 和 1 m 之间差出 10 倍量级critic 的目标值不断跳动Q 值永远学不稳。另外多智能体场景里两个 agent 的 reward 尺度相差太大也会出问题横向 reward 在 -5 到 0 之间纵向 reward 在 -0.5 到 0 之间两个 critic 的收敛速度完全不匹配整体训练进展就卡在慢的那一边。解决方法是把每项误差都归一化到 [0,1] 再加权并给超出安全范围的误差设置一个终止条件比如横向误差超过 3 米直接结束 episode 并给 -100 的终止惩罚。终止条件能大幅压缩无效探索训练曲线会明显变平滑。5.4 现象训练速度慢到怀疑人生一个 episode 要跑几十秒Simulink 仿真消耗太多时间episode 推进速度几乎没法看。常见原因有两个solver 用了默认的 ode45 变步长RL 训练中每个控制步都可能触发多次微小步长积分计算量爆炸或者 RL Agent 的采样时间和 solver 步长绑定得过紧。折中做法是把 solver 换成固定步长 ode3步长设 0.01sRL Agent 的采样时间单独设 0.05s。控制更新比积分器慢车辆动力学仍然按 0.01s 步长积分精度损失很小但仿真耗时通常能降 5 到 10 倍set_param(MultiAgentPathFollowing, SolverType, Fixed-step, Solver, ode3, FixedStep, 0.01);改了 solver 之后一定要对比一次预训练 agent 的轨迹确认横向误差和原来差异不超过几个厘米再开始训练。路径跟随对积分数值误差敏感solver 精度降太狠会学出在仿真里有效、实车完全没法用的策略。5.5 现象预训练 agent 跑出“灵车漂移”轨迹完全不贴路模型和 agent 都加载成功了但跑出来的轨迹明显偏离参考路径。这通常是工作区里的 agent 变量被覆盖了。常见场景是你在做自己的实验时往工作区写入了同名的agentSteer变量再运行示例模型时 Simulink 优先用了这个新变量而不是预训练参数。解决方法是重新加载示例自带的 .mat 文件然后检查变量值load(pretrainedAgents.mat); agentSteer; % 确认是从文件加载的如果 .mat 不存在先确认 setup 脚本有没有自动加载。另一种情况是参考路径数据被上一次仿真修改过路径点变了但 agent 是按原路径训练的这种属于改动模型前没备份建议每次实验前把原始路径存一份 .mat 留底。6. 从示例到自己的场景验证指标与迁移技巧6.1 用三个指标给训练效果打分训练结束后不要只看 reward 曲线路径跟随控制最终要回答两个问题跟得准不准跟得稳不稳。我习惯从 logsout 里取信号算三个指标simOut sim(MultiAgentPathFollowing.slx); logsout simOut.get(logsout); latErr logsout.getElement(LateralError).Values.Data; velErr logsout.getElement(VelocityError).Values.Data; rmsLat rms(latErr); maxLat max(abs(latErr)); rmsVel rms(velErr); fprintf(RMS lateral error: %.3f m\n, rmsLat); fprintf(Max lateral error: %.3f m\n, maxLat); fprintf(RMS velocity error: %.3f m/s\n, rmsVel);参考阈值RMS 横向误差小于 0.3 m 可以认为路径跟随合格小于 0.1 m 属于优秀RMS 速度误差小于 0.5 m/s 可接受。注意 RMS 不能反映持续偏差还要看一眼 maxLat 和误差信号里有没有低频漂移输出轨迹如果整体贴在路径一侧说明航向偏差项的权重偏低是系统性的。6.2 把示例迁移到自己的路径和车辆模型换参考路径是最常见的迁移需求。把新的路径点保存为pathData.mat包含 x、y、theta 三列然后在 Simulink 里把路径插值模块的数据源改为从这个 mat 文件读取。只要路径的曲率量级和原示例差别不大预训练 agent 可以直接复用如果新路径突然多了很多急弯建议把曲率项在观测中的权重提上去并重新微调训练。车辆模型参数变动大时最稳妥的做法是从已经收敛的 agent 继续微调而不是从头训。先备份save(agentBackup.mat, agentSteer, agentSpeed);再把学习率调低一个数量级从头训练改成继续训练让策略在小扰动下慢慢适配新动力学。这个习惯我保持了很久每次训练前先备份初始 agent奖励函数改动记录成带日期的文件。回到这类示例包做研究最大的教训是别把一次成功当成一种方案成功多测几条不同曲率的路径再下结论。希望这些踩坑经验帮到你。本文还有配套的精品资源点击获取