1. 项目概述1.1 研发背景与核心需求解析最近几年倾转旋翼无人机成了航空和机器人领域里的硬核玩具。既能像多旋翼一样垂直起降又能在升空后倾转发动机/旋翼进入固定翼模式高速巡航这种气动构型优势非常明显但控制问题也跟着复杂度陡增。在倾转过渡段飞行器的升力、推力、重力矢量不断交叠气动参数随速度、倾转角剧烈变化传统基于显式模型和增益调参的控制器设计起来相当痛苦你得在不同飞行区间反复调PID参数还要面对建模误差和未建模动力学的干扰。我在做某型倾转旋翼平台的控制方案预研时刚好接触到了深度强化学习这条路子——特别是连续状态空间下典型的深度确定性策略梯度算法DDPG。项目标题里说的连续状态空间中的过渡控制本质上就是要求我们训练一个智能体直接从高维连续的飞行状态观测姿态角、角速度、空速、高度误差等映射到连续的控制量输出油门、升降舵、倾转角速率等从而把垂直起降→过渡→巡航整个包线当成一个完整的马尔可夫决策过程来处理。这篇博客我会把整个项目里最关键的技术动能摊开讲为什么选DDPG而不是离散动作空间的DQN倾转过渡控制器需要哪些状态量和奖励信号为什么最后落地在Matlab环境里做以及我把这套算法跑通时踩过的那些坑。适合正在做无人机控制器设计、强化学习入门后想往真实动力学仿真走或者单纯想了解连续控制任务怎么建模的同学参考。1.2 项目设计目标与适用场景这个项目最终能完成的控制目标是模拟倾转旋翼无人机从悬停状态开始接收上层指令后逐渐倾转发动机短舱从0°到90°同时自动协调升降舵、油门和俯仰姿态最终平飞进入巡航状态。整个过程不需要人为切换控制律智能体用一个统一的策略网络去覆盖整个过渡走廊。它解决的核心痛点是倾转过渡段控制器设计难的问题。传统方案中工程师可能会使用分阶段的线性控制、或者依赖精确配平表的前馈但无论哪一种面对不同负载、风速和重心变化时都要重新整定。而深度强化学习既然走的是数据驱动在线交互的路线只要奖励函数设计得够好策略网络天然具备对模型误差的鲁棒性。适用的人群主要包括三拨第一拨是做飞行器控制算法、被非线性动力学折磨到想换思路的研究者和工程师第二拨是已经学过传统强化学习理论想在连续控制物理系统上验证DDPG的算法爱好者第三拨是教学场景里需要一套能够快速演示仿真环境中训练—部署到动力学模型—效果可视化完整链路的高校学生和老师。使用Matlab作为开发平台除了它自带完备的航空航天工具箱之外还因为基于模型设计Model-Based Design的代码生成路径让后面从仿真到实物的迁移有了天然便利。2. 深度确定性策略梯度算法详解2.1 为什么必须是DDPG连续控制的算法选型逻辑先说清楚为什么项目里抛弃了像DQN那样基于值迭代的方案。倾转旋翼无人机的控制量——比如舵面偏度、倾转速率、油门位置——都是模拟量输出天然属于连续动作空间。DQN类算法要求动作空间离散化假设我把油门离散成5个档位倾转角速率离散成11档联合起来动作空间立刻炸到几十甚至上百维稀疏的Q值表和脆弱的价值估计会让训练极不现实。强行离散还会带来锯齿控制指令真实舵机跟不住控制品质直接垮掉。DDPG走的是Actor-Critic架构格子本身就是为了连续动作空间设计的。它属于确定性策略梯度的思想演员网络直接输出确定性的动作值不做随机采样评论家网络评估当前状态-动作对的价值Q(s,a)然后通过链式法则把价值函数的梯度传播回演员网络求得动作空间的改进方向。整个过程可以用一句大白话概括Critic负责给每个动作打分Actor负责朝分数更高的方向挪动两个网络交替训练、互相促进。相比随机策略梯度需要在高维动作空间积分DDPG的计算效率明显更高这也让它成为连续控制任务里最常用的基线算法之一。2.2 算法核心机制与数学直觉需要说清楚DDPG里两个关键机制缺一个都容易出现训练不收敛或陷入震荡。第一是目标网络与软更新soft update。DDPG并没有像DQN那样每隔N步硬拷贝一次目标网络参数而是用了一个追踪式的软更新theta_target tau * theta_online (1 - tau) * theta_target;这里的tau一般取0.005左右意味着每个训练步目标网络只向在线网络靠近一点点。这样做的好处是打断自举式更新带来的训练不稳定让Critic的学习目标不随在线参数剧烈跳动。我当时第一次实现时直接把tau设成了1.0也就是每次都硬拷贝结果前几千步还勉强后来奖励直接发散到NaN其实就是目标震荡太厉害养出了一连串发散样本。第二是经验回放experience replay。连续状态的过渡控制里相邻状态下动作的关联性极强如果像玩贪吃蛇一样挨着训练样本间相关度太高梯度估计偏置会非常大。回放缓冲器相当于给算法一面后视镜它从过去一大段时间里随机抽取一批(状态、动作、奖励、下一状态)四元组打乱顺序后再算梯度大大削弱了时间相关性。2.3 探索与利用的平衡策略学术界对DDPG提出的修改里我感触最深的是探索噪声的设计。原始DDPG在动作输出上直接叠加OU噪声Ornstein-Uhlenbeck过程来探路OU噪声的优点是有时间惯性不会像高斯白噪声那样每个时刻跳变能让飞行器在状态空间里走出更平滑的试探轨迹。但对倾转旋翼这种惯性大、舵效有饱和的系统OU噪声均值如果设得不对很容易把智能体“推”到危险状态比如俯仰角发散到50°以上之后恢复不了。实际训练时我做了个手脚噪声方差随训练回合进度指数衰减。前20%的回合保持较大探索强度让智能体尝遍各种姿态偏移后面逐步收缩噪声让策略从大范围试探收敛到精细利用。如果各位同学发现训练后期奖励曲线还在剧烈抖动大概率是探索噪声没有衰减到位把已经学到的稳定策略又抖开了。3. 倾转旋翼无人机系统设计与建模3.1 倾转旋翼过渡段的动力学特点分析倾转旋翼飞行器最迷人的地方也是控制上最麻烦的地方就在过渡段。当发动机短舱从垂直位置旋翼升力指向机体上方转到水平位置旋翼推力指向前方时全机的受力关系发生本质变化垂直起降阶段机体重量完全由旋翼拉力承担进入平飞后升力改由机翼产生旋翼拉力只负责克服阻力。而在倾斜角度30°到60°的中间区间机翼尚未完全进入有效升力状态旋翼拉力既要提供垂直分量平衡重力又要提供水平分量推动加速这种升力与推力耦合使得线性小扰动方程几乎无从建立。此外过渡过程中还有一个动力学坑不容忽视——洗流效应。旋翼在下洗气流对机翼和尾翼的直接影响会造成舵面效率下降、俯仰力矩变化剧烈。所以过渡段往往要求控制律对低速区、高动力、强耦合的区间具备充分的鲁棒性。这也是项目把强化学习当黑箱策略搜索器来用的关键原因与其去推导带有大量简化假设的近似模型再做鲁棒控制不如让策略网络在状态空间里见过足够多的姿态与倾转角组合自己学习那个非线性的映射关系。实践下来这个思路确实把调参时间从几周压缩到了几天。3.2 连续状态空间与控制量的定义在设计强化学习环境之前必须先把状态空间和动作空间的维度、量纲、范围彻底砸死。我们项目里定义的观测向量为9维归一化状态俯仰角θ单位度范围-30°到45°俯仰角速度q单位°/s范围-50°/s到50°/s空速V单位m/s范围0到45飞行路径角γ单位度范围-10°到30°高度误差he单位m范围-20到20倾转角β单位度范围0°到90°倾转角速率β_dot单位°/s范围-30°/s到30°/s发动机油门δt0到1标称作为状态反馈升降舵偏角δe范围-25°到25°为什么要把油门和舵面偏角也当作状态而不是只当动作因为飞机动力学是带记忆的舵机本身也有带宽当前的控制量会直接影响下一时刻的气动力矩。算状态反馈可以给网络提供更多关于执行器当前状态的信息。动作空间定义为3维连续变量action [倾转角速率指令; 升降舵偏角增量; 油门增量];其中倾转角速率指令是直接发给短舱倾转机构的舵面和油门则用了增量式输出再叠加饱和限幅这样能避免动作跳变过大导致仿真发散。动作值全部映射到[-1,1]区间网络输出的tanh激活值经过缩放后变成物理控制量。3.3 动力学模型与仿真环境搭建模型搭建这一块我直接使用了Matlab下的Aerospace Blockset和Control System Toolbox构造了六自由度刚体飞机方程。当然直接搞六自由度全量方程起步调试难度过大项目分了两个阶段走第一阶段用一个纵向平面三自由度简化模型做DDPG训练和策略验证——保留俯仰、速度、高度三个通道忽略横航向耦合第二阶段将训练好的Actor网络移植到六自由度模型中做闭环verification。动力学方程中需要重点建模的是旋翼拉力的斜向作用。我把拉力向量写成短舱倾转角β的函数T_x T * sin(beta); T_z T * cos(beta);β等于0°对应旋翼竖直拉力沿机体Z轴向上β增大后水平分量逐渐占据主导。机翼升力系数CL、阻力系数CD则采用低空速和高空速两段插值表模拟非线性失速特性。整个仿真步长固定为0.02秒控制律频率50Hz离散时间更新。风干扰模型选的是Dryden大气紊流均方根风速3m/s算是给训练加了点真实感。4. 基于Matlab的代码实现全流程4.1 工程文件结构与核心模块划分项目的源码组织遵循了环境、智能体、训练管理三者解耦的原则我建议读者也这么干。因为调试时你最常做的事情就是改奖励函数或调网络结构如果全部耦合在一个脚本里会非常难受。我最后形成的文件结构如下TiltRotRL/ ├── environment/ │ ├── TiltRotorPlant.m % 飞机动力学S函数 │ ├── TiltRotorEnv.m % 强化学习环境封装 │ └── buildTiltRotorSim.m % 建模仿真配置 ├── agent/ │ ├── createDDPGAgent.m % 创建DDPG智能体 │ ├── actorNet.m % Actor网络结构定义 │ └── criticNet.m % Critic网络结构定义 ├── training/ │ ├── trainTiltRotorDDPG.m % 主训练脚本 │ ├── hyperparams.m % 超参数配置 │ └── rewardFunction.m % 奖励函数计算 ├── evaluate/ │ ├── plotTrainingResults.m % 训练曲线绘图 │ ├── runClosedLoopTest.m % 闭环验证 │ └── exportPolicy.m % 导出部署策略 └── data/ ├── trainStats.mat % 训练记录 └── policyAgent.mat % 训练好的智能体类比QQ音乐歌单里你得把摇滚和民谣分类工程文件同理分门别类才好找问题。重点说一下TiltRotorEnv.m它是连接Matlab强化学习工具箱RL Toolbox与我们自建飞机模型的桥。初看Matlab官方给的标准倒立摆环境Demo会以为封装环境只是套壳其实这里面的接口设计非常重要后面训练是否顺利一半取决于这一步。4.2 自定义强化学习环境的三个关键接口要在Matlab的强化学习工具箱里使用自定义环境需要实现三个核心函数reset、step和getObservation。我的实现思路如下。reset函数负责在每个训练回合开始时把飞行器放置到初始状态。这个项目的初始状态不是固定值而是加了随机扰动——高度初始误差在±3m内随机俯仰角在±2°内随机空速在0到2m/s之间随机。这样一个小技巧能有效强化智能体对初始条件不确定性的容忍度。仿真从悬停开始倾转角β初始为0控制目标是在20秒仿真时间内把空速加速到28m/s以上同时高度维持在目标值±5m内倾转角从0°转到接近90°。step函数是最核心的function [observation, reward, isDone, logger] step(this, action) % 将网络输出的[-1,1]动作映射到物理量 deltaBetaCmd action(1) * 45; % 倾转角速率指令最大45°/s deltaElevator action(2) * 15; % 升降舵偏角增量最大15° deltaThrottle action(3) * 0.05; % 油门增量 % 调用动力学更新函数跑一个步长 [nextState] updateAircraftDynamics(this.state, ... [deltaBetaCmd, deltaElevator, deltaThrottle], this.dt); % 计算奖励、回合终止条件 [reward, isDone] computeRewardAndTermination(nextState); % 更新环境内部状态 this.state nextState; observation buildObservation(nextState); end这里有几个隐性钩子特别容易踩坑。其一是isDone的判定逻辑不能只看高度发散。如果只把俯仰角绝对值超过60°设为终止训练中段智能体会学到一头扎下去但是因为还没到60度所以不扣太多分的投机行为。我最终把终止条件放宽到俯仰角大于±45°或者高度误差大于±25m或者仿真到达最大步数三选一触发。4.3 Actor和Critic网络结构设计DDPG里的两个神经网络结构不必堆叠得像深度学习论文里那么深——我们控制任务的输入只有9维动作只有3维网络太深反而会拖慢训练速度并引入过拟合。我的Actor网络是一个三层的MLPactorNet [ featureInputLayer(9, Normalization, none, Name, state) fullyConnectedLayer(256, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(256, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(3, Name, action) tanhLayer(Name, actionTanh) scalingLayer(Name, actionScale, Scale, [45; 15; 0.05]) ];注意最后两层是tanh激活加scalingLayer。tanh把网络原始输出压缩到[-1,1]区间保证动作指令的物理可行性scalingLayer再把归一化的动作映射到实际的倾转角速率和舵面偏转增量。Critic网络则把状态和动作拼在一起作为输入输出单维的Q值。它的结构是分叉后再融合——状态支路和动作支路分别过两层全连接以后拼接再通过两层全连接输出。我一开始图省事把state和action直接拼接成12维向量塞进同一个MLP训练效果勉强能用但Q值的梯度信号不清晰。后来改成双支路结构Critical值逼近速度和训练稳定性都有明显改善。4.4 超参数配置与训练策略细节训练超参数是整个项目中最需要手感和耐心的地方。我把最终跑通的参数表列出来供参考参数数值说明学习率Actor0.0001太低收敛慢太高训练发散学习率Critic0.001评论家可以比演员学得快折扣因子γ0.99关注长期回报符合任务特性软更新系数τ0.005目标网络追踪速率经验池容量100000需要覆盖足够多过渡场景Mini-batch大小256和评论家网络深度匹配OU噪声初始σ0.2探索强度起点噪声衰减系数0.995每回合逐步收敛利用策略最大训练回合数1200并非越多越好中期开始过拟合单回合最大步数1000对应20秒仿真时长经验池容量我特别想强调一下。100000个样本听起来很大但50Hz控制频率下1000步就是20秒数据等于50个回合的经验。倾转过渡任务的状态空间比较广如果经验池太小训练后期网络会开始遗忘早期的好经验出现奖励曲线回弹的现象。我一度把经验池改成200000训练时间多花了一些但最终的策略鲁棒性确实更好。奖励函数的设计更是重头戏我采用了分项加权的形式reward -w1 * (abs(he)/10) - w2 * (abs(gamma - gamma_ref)) - ... w3 * (abs(beta - beta_ref)^2) w4 * (V/(V_ref V)) - ... w5 * (abs(q)/50) bonus;其中高度误差he和空速V是主导项飞行路径角γ和倾转角β的跟踪误差是行为引导项角速度q是阻尼项bonus是阶段到达奖励。权重w1~w5在训练初期取了偏激进的比例到后面跟随强化信号走整个奖励函数能够激励智能体先加速、再过渡、后稳定的行为序贯。5. 训练过程与结果分析5.1 训练曲线与收敛行为解读训练在Matlab里跑起来后前200个回合的奖励曲线基本在-1800附近徘徊几乎没有任何正向提升。很多第一次接触DDPG的同学到这里就会怀疑自己的奖励函数是不是写错了其实这是正常的——初始策略是随机探索状态网络输出动作基本是噪声飞行器每回合都在疯狂发散单回合惩罚值自然大。此时建议别急着调参先把环境步进逻辑和重置逻辑检查干净确认没有维度错位和NaN问题后让训练继续跑。到300回合左右奖励曲线开始出现阶梯式上升的迹象个别回合会出现突然的峰值这是因为智能体偶然探索到了一个可以维持稳定的控制序列Critic网络马上捕捉到这个高价值区域后续Actor会迅速偏向模仿这段行为。从400到700回合奖励值缓慢但稳定地爬升噪声衰减也开始起效策略逐渐脱离试探模式。大约跑到850回合后奖励曲线基本进入平台期单回合奖励在-200到-400之间波动这个阶段再往下训练的优势已经不大可以开始做针对性评估。不过这里要泼一盆冷水训练曲线平稳不代表策略已经毕业你得做闭环特性测试。我换了一批新的随机初始条件把训练好Agent接进六自由度模型里跑闭环仿真观察拉过来的状态轨迹和配平点偏差这才是真正的检验。5.2 过渡控制效果对比DDPG与增益调度PID我拿同一组任务对比了DDPG策略和一套精心调教的增益调度PID控制律。PID的增益按照空速区间分为三段过渡段做线性插值这也是很多真实飞控采用的方案。先看高度保持能力PID在低速段0-10m/s表现不错高度误差能压在±3m内但到了倾转角40°~60°这段强耦合区由于气动参数快速变化PID的短舱倾转指令会出现明显的超调和振荡高度偏差最大冲到10m。DDPG策略则要平滑许多倾转角速率曲线没有剧烈跳变高度偏差在过渡全程都在±6m内。空速增长方面DDPG比PID更早完成加速目标——PID策略因为过于保守地把油门和倾转角绑定在增益表里加速过程偏肉DDPG懂得在过渡伊始同时叠加倾转指令和油门指令加速度明显快了一截。这种大开大合但又稳定可控的行为很难用手调控制律做出来它本质上是策略网络对整个状态空间的全局拟合能力带来的红利。5.3 鲁棒性分析与风干扰测试加了3m/s Dryden风扰动以后PID控制律在倾转中段出现了短时的高度跌掉14m的危险状态而DDPG策略依然能撑住高度误差在10m以内。原因也很清晰DDPG的Critic网络在一定程度上拟合了状态空间的价值山脉当风速把小扰动推离了理想轨迹Actor能够找到一个相对鲁棒的局部动作补偿。尤其中段倾转角附近PID受限于固定控制结构无法重新优化分配油门和舵面的出力而DDPG的策略是高维映射天然有电源题式的多方案求解能力。当然代价也确实存在训练耗时本身不小。我在一台主流配置6核CPU、16G内存、无独显上跑完1200回合大概花了9个小时。Matlab的强化学习工具箱在CPU上并行训练的能力有限如果急着出结果建议把仿真步长放宽到0.05秒训练时间能缩到4小时内但闭环特性的光滑度会略差。对真实控制任务而言训练时间往往是可接受的成本换取后续部署时免调参的巨大便利。6. 常见问题与实施避坑指南6.1 训练不收敛的排查清单我在调通这套系统的过程中总结出了一份针对DDPG训练不收敛的排查清单按概率排序观测变量未归一化状态量量纲差异太大会让Critic网络对某些维度失明。必须把所有状态映射到同一数量级建议未归一化前先打印一下最小最大值核对。奖励信号数值过小如果每步奖励都在[-1, -0.1]区间内抖动梯度信号太弱网络根本没法学习。要么给核心项放大权重要么拆细奖励项以提高信号密度。终止条件过苛刻如果isDone触发过于频繁智能体只能看到很短的轨迹片段根本没有回收到过渡成功的正反馈。前期宁可在20步内不设终止多给智能体活久见的机会。目标网络更新过快tau设置0.005不是玄学如果训练中Q值曲线剧烈震荡先把tau降到0.001甚至0.0005。探索噪声过早归零有些资料建议训练到后期把噪声完全关掉但完全关闭后策略几乎冻结在局部最优。我倾向于保留0.05左右的常数底噪。6.2 动力学仿真中常见的数值陷阱仿真发散是所有RL训练里最让人抓狂的问题。我的经验是先用纯开环控制验证动力学模块稳定性——给固定动作序列跑5000步确认状态不会数值发散然后再接RL环境。另一个数值陷阱是状态跳变被测到信息泄露如果step函数的观测里包含了当前动作值相当于给Critic提前透露了答案训练出来的Q值会比较虚部署时策略表现却很差。观测必须严格基于执行动作前的状态。还有一点动力学更新中涉及三角函数时Matlab默认是弧度制我在编写updateAircraftDynamics.m时就把所有角度统一换算到弧度很大程度上避免了单位混淆引发的指数量级错误。6.3 经验池管理策略的调整心得人物设置经验池的时候我最初用了最简单粗暴的方式全随机均匀采样。但倾转过渡任务里有相当数量的轨迹片段处于姿态正常、离目标状态尚远的平庸段这些样本对学习帮助不大纯随机采样导致前600回合的梯度主要被平庸样本主导。后来我改成了优先级经验回放的简易变体——按TD误差的绝对值加权采样误差大的样本有更高概率被抽中让Critic聚焦于还未理解透彻的状态区域。这个改动让我最终收敛所需回合数降低了接近三成值得一试。需要补充提醒的是改采样方式要注意更新顺序的bug每个batch抽取的样本对应的TD误差在更新完成后应当被重新计算如果忘记刷新权重后面训练会积累出严重的偏置。这个细节我调试了整整一个下午才定位到。6.4 策略部署与后续扩展方向训练完成不代表项目验收完毕。我在实际项目里把训练好的Actor网络通过Matlab Coder转成了C代码封装成Simulink模型里的S-Function模块然后在硬件在环HIL仿真里测了一轮——因为Simulink和真实飞控硬件之间天然有代码生成链路这个步骤相当顺滑。如果后续想挑战更高阶的玩法可以考虑两个扩展方向。其一是改成带约束的强化学习比如在奖励里加入倾转角速率硬约束避免倾转机构物理磨损其二是和传统的增量非线性动态逆INDI法结合让DDPG负责做增益调度和模式切换决策INDI负责底层快速响应这种混合方案目前在很多前沿项目里已经很流行。我个人做完这个项目的最大体会是DDPG这类连续控制算法真正的工作量并不在算法本身而在于如何把一个真实的物理系统干净利落地抽象成MDP。环境接口、奖励塑形、终止条件和噪声策略这四个环节消耗的时间远比调网络结构多得多。但一旦跑通你会看到策略网络自己学会了一套人类工程师很难直接设计出的过渡控制风格那种成就感的确是传统控制方法没法给的。最后再分享一个小技巧每次改完环境或奖励函数不要急着全量重训先跑20个回合看看单回合奖励轨迹的形态哪怕总奖励低只要形态定性对了比如该降的高度在降、该去的倾转在去再放长线训练省下的时间和电费绝对值得。