我最早做这个课题，是因为手里接了一个无人机配送的仿真验证任务：一架四旋翼要在尽量短的时间内访问完若干个任务点，最后回到起降点。乍一看就是经典的旅行商问题（TSP），但把“车”换成“无人机”，问题性质马上变了。后来我基于深度强化学习做了一套求解方案，用在高层的任务点排序、低层的航迹控制上，既覆盖了毕业设计需要的完整实验链路，也满足了某企业项目对实时性和可部署性的要求。这篇博文就把这套实战方案完整拆一遍，从问题建模、算法选型、训练稳定性到指标设计、交付差异，给正在做毕设选题或者准备把强化学习落到无人机路径规划上的朋友，一个可以直接参考的技术路线。1. 无人机TSP的问题重构：为什么书本上的模型不够用1.1 经典TSP与无人机TSP的差异经典TSP的定义非常简单：给定若干城市的坐标，找一条经过所有城市且只经过一次的最短闭合回路。计算机科学里研究的是组合优化性质，图论里讨论的是NP难度。但当执行者从抽象的点变成一架真实无人机时，最短路径不再是唯一目标，准确说是“最短”这个目标本身都需要重新定义。无人机的能耗并不严格正比于距离，旋翼在悬停、匀速巡航、转弯、爬升时的功率消耗差异很大。风向、风速、电池容量限制、禁飞区、建筑物遮挡，这些问题都会让两个节点之间的“代价”变成方向相关、时间相关的量。更关键的是，无人机存在最小转弯半径，很多在几何上最短的折线路径，实际飞行时根本走不出来。所以在无人机TSP里，用户给的不是一张带权完全图，而是一个带物理约束的连续状态空间。我在实际建模时，会把经典TSP里的“城市”扩展成带属性的任务点：坐标、耗时、优先级、时间窗、电量消耗预估。把“路”扩展成一条满足动力学约束的可行航迹，而不是一条直线。这样问题就从单纯的“排序问题”变成“排序+轨迹规划”的耦合优化问题。这是无人机TSP和课本TSP最大的区别，也是整个算法设计的起点。1.2 深度强化学习在这里有什么不可替代的价值传统解法大致分成三类：精确算法、元启发式算法和近似算法。精确算法能拿到最优解，但规模超过二三十个节点时，计算时间会迅速失控；遗传算法、蚁群算法这些元启发式能处理中等规模，但它们每一次求解都是独立的优化过程，遇到新的任务点分布，需要重新跑一遍迭代，实时性很难保证。深度强化学习解决的是“离线训练，在线推理”的问题。网络通过大量随机实例学出一种从环境状态到动作的映射规则，训练结束以后，给它一组新的任务点坐标，它可以在几十毫秒内输出一个排序结果，不需要重新搜索。这种特性非常契合无人机实时任务：任务点可能临时增加，环境可能动态变化，不可能每次都花几十秒重新计算全局路径。另一个优势是深度强化学习方便融入传感器信息。视觉图像、雷达点云、GPS坐标这些东西，本质上都能通过神经网络编码成状态特征。只要训练环境做得足够真实，学出来的策略可以直接感知障碍物和威胁区域，这是传统组合优化工具很难做到的。当然，DRL也会带来训练不稳定、泛化性能难保证的问题，但这些可以通过后续方案设计来控制。2. 整体方案设计：状态、动作、奖励这三件事定成败2.1 状态空间该怎么设计很多第一次做这个课题的人，上来就把所有信息一股脑塞给网络，想着“网络自己会学”。实际上，状态空间设计得不好，训练过程会非常痛苦。我习惯把状态分成三组：任务点状态、无人机状态、环境状态。任务点状态包括每个节点的坐标、访问状态、剩余需求、优先级和时间窗；无人机状态包括当前位置、剩余电量、当前速度、航向；环境状态包括障碍物位置、威胁区域、风场等信息。这里最容易被忽略的是“访问状态”的表达。如果直接用布尔值记录“访问过/没访问过”，网络很难区分出“已经访问过”这个信息，因为它本质上是顺序相关的。推荐的做法是用一个mask向量，在动作输出时直接把已访问节点对应的概率设为负无穷，从机制上禁止重复访问。另一个设计细节是坐标系的选择。绝对坐标会导致模型难以泛化到不同尺度的任务区域。我通常会把所有坐标减去当前无人机位置，再用整个任务区域的最大边长做归一化，让网络看到的是相对坐标。这个改动看起来简单，但对泛化性能的提升非常明显，特别是在从50个节点的训练环境迁移到100个节点的测试环境时。2.2 动作空间：直接用连续控制还是输出节点选择动作空间是另一个决定训练难度的分岔口。如果你的目标是解一个TSP排序问题，最自然的做法是让网络输出一个“下一访问节点”的离散动作，也就是在未访问节点集合上做一个分类。这种情况下可以用带mask的softmax输出概率，配合指针网络或者注意力模型来构造策略网络。如果你的场景还需要无人机同时决定具体的航迹，比如绕开障碍物、考虑转弯半径，那么就需要连续动作空间，直接输出期望航向角、速度或者下一时刻的参考位置。连续动作空间适合用PPO、TD3这类连续控制算法，但训练难度明显更高，因为动作空间是无限大的，一个微小的动作偏差都可能导致碰撞或电量耗尽。在实际项目中，我不建议把所有决策都压在一个网络里。更可靠的做法是两段式：高层决策网络负责从所有未访问任务点中选一个作为当前目标，输出离散动作；低层控制网络或传统控制器负责生成从当前位置到目标点的可行航迹，输出连续量。打个比方，高层策略像外卖员决定下一单去哪个客户家，低层控制像骑车时怎么避开路人。两个问题解耦后，每个网络的任务都更单纯，训练难度会低很多。2.3 奖励函数：最容易踩坑的地方奖励函数是整个强化学习方案里最容易被低估的部分，它直接决定了策略最终会学出什么畸形行为。一开始我做尝试时，用的奖励很简单：每访问一个新任务点给+10，完成任务再给+50，总航程每增加一米给-0.1。结果策略很快学会了一种奇特的行为：无人机在两个相邻任务点之间来回小幅度绕圈，反复蹭“访问新节点”的奖励，或者故意绕远路拖延时间，只因为总惩罚远小于新节点奖励。后来我把奖励重新拆开设计：只有第一次访问节点才给正奖励，重复访问完全不给分；路径代价用归一化后的长度惩罚，而不是绝对长度；再加上一个能量惩罚项，如果剩余电量过低，就施加一个较大负值并重置该回合。对于有时间窗的任务，还会加入“早到等待惩罚”和“迟到惩罚”。这些项不是越多越好，每个项都要配一个合适的权重，权重设置需要在小规模随机实例上做一轮敏感性实验。重要的一点是奖励尺度不能太大也不能太小。如果每个节点的奖励都是100，路径惩罚是0.01，那策略根本不在乎路径长短，只会疯狂追求访问节点数；反过来，如果路径惩罚大到路径长度稍微变化就压过访问奖励，策略会选择干脆停在原地不动，因为多走一步都是亏。我一般会把单回合总奖励控制在正负10这个量级，这样网络的学习信号不会过强或过弱。3. 核心算法选型与网络结构3.1 组合优化层：为什么优先考虑注意力机制类模型经典TSP这类排列问题，输出是一个变长的节点序列。通用的卷积网络或全连接网络很难处理这种“输出元素数量不固定”的任务。早期有人用循环神经网络来逐个输出节点，但效果一般，长序列信息容易丢失。现在的主流思路是用注意力机制，把任务节点通过Encoder编码成一堆特征向量，然后Decoder逐个生成下一个节点。注意力模型有一个很大的优势：它对输入节点数量不敏感。训练的时候用50个节点，测试时换成120个节点，只要位置编码设计得好，网络仍然能输出合理的排序结果。我用的选点策略网络就是这个思路：Encoder部分把每个任务点映射成特征表示，加上当前无人机位置和剩余电量信息；Decoder部分根据已访问集合，结合mask机制，输出所有未访问节点的概率分布，每次采样一个节点作为下一目标。训练这个选点策略时，我建议用带baseline的策略梯度方法。具体来说，用同一个网络在同一个输入实例上做两次采样，一次作为当前策略轨迹，一次作为基线轨迹，用两条轨迹的奖励差异作为优势估计。这样比直接使用一个固定Baseline的方差要小得多，收敛也更快。这个思路来源于经典强化学习里的REINFORCE with baseline，但在注意力模型上更容易训练。3.2 低层控制层：PPO、TD3还是经典控制无人机从当前点到目标点的飞行控制，可以简单建模成二维平面上的运动，也可以直接建出完整的六自由度模型。我实际实验时，先用一个简单的质点模型验证整体逻辑，再用带惯性环节和传感器噪声的模型做联合微调。低层控制网络的算法选择上，PPO是最省心的，它对超参数的敏感性相对较低，熵正则项能防止策略过早固化。如果场景中障碍物密集、需要非常精细的连续动作，TD3这类带确定性策略的算法往往效果更好，但TD3对参数初始化、经验回放比例、探索噪声都比较敏感，需要更多调试时间。DDPG我后来基本不推荐用于无人机近距离机动，因为它经常会出现Q值过估计，导致训练过程中性能突然掉下去。这里要说一句：低层控制不一定非要用神经网络。如果任务是常规的室内或园区环境，没有太多动态障碍，传统控制加路径跟踪就完全够用。让强化学习去学那些本来就能用传统控制解决的问题，只会增加训练难度。只有环境存在较强的随机性和不确定性时，低层控制网络才真正有价值。所以我在方案里的建议是“先经典控制，后端到端强化”，这是一个工程风险最低的路线。3.3 两阶段训练的联合微调策略很多人以为端到端训练就是“一个网络从输入图像输出航迹，奖励函数统一调”，这是最大的误解。端到端的梯度要穿越高频率控制层，梯度方差极大，训练曲线经常是灾难性的波动。我采用的策略是分阶段训练：先把高层选点策略冻住，只更新低层控制策略，让它学会在给定的目标点序列下稳定飞行；然后把低层控制策略冻住，只更新高层选点策略，让它基于一条理想的直线航线代价来学习排序。两个子策略各自收敛后，再解冻所有参数做联合微调。这时高层的奖励不再来自理想化直线代价，而是来自低层控制策略真实执行后的能耗和路程。联合微调的作用是让高层排序“理解”低层飞行的真实代价，比如某些节点虽然直线距离近，但转弯和避障消耗很大，高层就会学会避开这些组合。联合微调阶段的学习率要比预训练阶段低，通常降到原来的三分之一到五分之一，训练步数也不用太长，让两个模块微调对齐即可。4. 实战环境搭建与训练细节4.1 仿真环境的分级选择如果一上来就打开物理引擎、加载真实地图、开启气象扰动，大概率会陷入“不知道问题出在算法还是环境”的困境。我强烈建议把仿真环境分成三级：第一级是纯二维网格世界，任务点随机生成，无人机假设能沿直线飞行，用来验证选点策略的正确性；第二级加入简单多边形障碍物和电量约束，允许使用低层控制策略或经典路径规划，用来验证整体路径的可行性；第三级才进入高保真仿真，加入转弯速率限制、风场扰动、传感器噪声，用来评估真实部署可行性。每一级环境都要保留独立的接口，方便用同一套算法代码做对比。我见到的失败案例大多是跳级太快，比如直接上高保真仿真，训练一个晚上连基础的任务完成率都上不去，最后发现是传感器噪声过大，而不是算法本身有问题。调试问题要先排除环境问题，再排除奖励问题，最后才动网络结构。这是很重要的排查顺序。在实践中，环境里还要加入“随机任务生成器”，每次reset时随机生成新任务点、随机设置无人机起始位置和电量。如果训练集永远只有那几张固定地图，模型学出来的可能是地图记忆，而不是通用策略。任务生成的随机性要和后续测试规模的分布保持一致，训练时可以比测试规模略小，但类型不能差太远。4.2 训练稳定性：我踩过的大坑与解法训练不收敛，是深度强化学习项目里最常见的情况，无人机TSP尤其如此。我踩过的第一个坑是奖励尺度不统一。路径长度惩罚上千，访问奖励只有几十，网络直接放弃行动。我后来把所有奖励项做了min-max归一化，让单回合总奖励控制在正负10附近。第二个坑是经验回放的时间相关性。PPO这类on-policy算法不应该使用经验回放，每次更新必须用当前策略采样的数据；而DQN类算法才需要经验回放。我曾经用类似做法把历史episode塞给PPO更新，结果策略评估严重偏置，训练曲线看起来很好，但实际执行效果很差。原因是过时的数据不能代表当前策略的分布，训练方差会暴涨。第三个坑是熵正则参数的设置。熵系数太大，策略永远在随机探索，学不出有效路径；太小的策略很快就坍缩成总去最近节点，丧失了全局优化能力。我一般从0.01开始，如果发现策略过早确定，每500轮降低一半，直到性能稳定。学习率方面，配合warmup预热和线性衰减，可以有效避免前期梯度爆炸。4.3 训练流程参考伪代码下面给出一个实战训练流程的伪代码，展示高层选点策略训练的核心循环。我这里不依赖具体深度学习框架，只体现逻辑结构。# 高层选点策略训练循环（伪代码） for episode in range(max_episodes): state = env.reset() done = False log_probs = [] rewards = [] visited = [] while not done: mask = build_mask(current_node, visited) action, log_prob = policy_network(state, mask) next_state, reward, done = env.step(action) log_probs.append(log_prob) rewards.append(reward) state = next_state baseline_rewards = rollout_with_critic(state, env) discounted_rewards = discount(rewards, gamma=0.99) advantage = discounted_rewards - baseline_rewards loss = -sum(log_probs * advantage) + entropy_penalty(0.01) optimizer_step(loss)这个循环看起来简单，但关键点都在细节里：mask必须在采样之前就屏蔽已访问节点；advantage需要从真实轨迹中计算，不能直接用最终奖励；熵惩罚要加到损失函数里，而不是额外手动给reward。每一步的reward最好在环境中同时返回，方便用可视化工具实时检查。4.4 超参数参考表下面这张表是我在实际训练中反复调试后得到的一组可行参数，不同场景需要微调，但可以当作起点。参数高层选点策略低层控制策略算法类型注意力模型 + 策略梯度PPO学习率1e-4，warmup后线性衰减3e-4，clip后衰减Batch Size64256熵系数0.010.01GAE Lambda-0.95Clip范围-0.2训练任务点数范围20~8020~120单回合最大步数200200这个表不是万能药，但如果你的训练一直震荡，可以从学习率和熵系数开始调，通常比改动网络结构更快见效。5. 实验结果分析与核心指标5.1 评估指标：别只看路径长度很多初学者只盯着“平均路径长度”一个指标，这是不够的。在无人机场景里，“总能耗”往往比“路径长度”更能说明问题。我实际评估时会同时看四类指标：总能耗、单实例求解耗时、任务完成率和泛化性能。总能耗需要结合无人机的功率模型来计算，不同速度、不同转向下功率不同，不能简单用距离换算。求解耗时是实时性指标，在高保真仿真里，如果单实例需要几秒钟才能决策一次，那任务点一多就完全跑不过来。任务完成率指的是在电量约束和障碍约束下，能够成功访问所有任务点的回合比例。泛化性能则看模型从训练规模迁移到更大规模时，路径长度恶化了多少。这些指标不能只看平均值，还要看方差。我在实验中发现，遗传算法平均路径长度不错，但最差情况非常离谱，有时会因为坏种子生成一个很差的结果；深度强化学习模型的方差通常更小，稳定性更好。要在论文或项目报告里同时公布均值和标准差，才是一个有说服力的对比。5.2 对比基线的选择原则对比基线设置不公平，是答辩和项目评审中最容易被攻击的点。正确的基线应该是：小规模问题用精确算法求最优解，用来回答“离最优解有多远”；中等规模用成熟元启发式算法，比如遗传算法、蚁群算法，用来回答“跟传统优化比是否有优势”；大规模用简单启发式，比如最近邻算法，用来回答“是不是至少比朴素策略好”。我见过一个反面案例：只跟随机策略做对比，DRL模型当然赢得毫无悬念，但没有任何说服力。也见过另一个反面案例：拿DRL和一个专为静态TSP调参到极致的元启发式算法对比，然后说DRL更差，这同样不公平，因为DRL的优势在实时性和动态环境，而不是在静态离线场景下追求最优。合理做法是这样：在静态50节点实例上，DRL和传统元启发式打平或略差；但在动态场景中，任务点突然变化，传统元启发式需要重新计算，DRL可以直接复用已学策略，在几十毫秒内输出新方案，这是传统方法的几十倍速度提升。把这两种场景放在一张对比表里，才能体现出深度强化学习的真实价值。5.3 一组典型观察结果为了直观展示实验结果形态，我列一组来自我方验证环境下的典型观察数据，不同环境差异会很大，但可以作为量级参考。50节点随机实例，最近邻算法平均路径长度约为基准值的118%，求解耗时约0.02秒。经典元启发式算法平均路径长度约为基准值的97%，但单实例求解耗时平均约8秒，且方差大。训练后的注意力选点策略，平均路径长度约为基准值的98%，单批次推理100个实例总耗时约0.2秒，平均单实例耗时才2毫秒。加入动态障碍和电量约束后，低层控制策略的任务完成率达到85%，比不带控制层的直线规划高了近20个百分点。这组数据说明两件事：第一，DRL模型在静态问题上有能力逼近传统优化算法；第二，在实时决策和高维约束场景下，DRL的速度优势非常明显。这正好呼应“毕设/企业双适配”的主题：毕设里用静态实例证明模型有效性，企业场景里用动态实例证明实时性和鲁棒性。6. 毕设与企业场景的差异化适配6.1 毕业设计的核心：理论闭环与消融实验毕设评审最看重的是“你理解这个问题，并且亲手验证了每个设计选择”。所以不能只做“训练了一个模型，效果还不错”这种级别的工作。我在给A同学指导时，建议把课题拆成四个递进的部分：问题定义与建模、算法设计与实现、实验对比与分析、消融实验与讨论。消融实验非常加分。比如通过“去掉mask机制”“去掉baseline”“把相对坐标改成绝对坐标”这几个控制变量，来说明每一个设计组件的具体贡献。这会让答辩评委看到你不是在调参，而是在做系统性的工程验证。另外，毕设论文里要写清楚公式推导过程，尤其是策略梯度目标函数、注意力机制的注意力权重计算，这些是评审老师最容易展开追问的地方。还有一个容易被忽略的点：实验数据要可复现。建议把每个随机种子下的实验记录都保留好，答辩前重新跑一遍关键实验，确保曲线能稳定复现。如果只是临时跑了一组漂亮的曲线，答辩现场一问细节就露馅。扎实的数据管理能力本身就是毕设评分的重要加分项。6.2 企业项目的核心：接口、异常处理和混合架构企业场景对“创新性”的容忍度很低，最关心的是模块能不能稳定嵌入到已有业务流程里。所以DRL模型不能只是一个孤立的Python脚本，而要封装成有明确输入输出的服务接口。输入是任务点坐标数组、无人机当前位置、剩余电量、障碍物列表，输出是目标点序列和参考航迹。接口协议尽量统一，方便调度系统调用。异常处理是企业项目中绕不开的一环。电量不足时，模型要能主动触发返航机制，而不是硬着头皮继续访问下一个任务点；当某个任务点临时被取消或新增，模型要能在不重新训练的情况下自动调整排序；如果模型因为某个极端输入输出不合法动作，系统需要有规则层拦截，并切换回保守策略。我建议采用混合架构：DRL模型作为在线推荐器，输出排序建议；规则系统和传统求解器作为兜底。如果DRL输出结果在质量阈值以内，就采纳；如果输出结果超时、置信度低或者被规则校验拒绝，就回退到启发式方案。这种架构能大幅降低上线风险，也是企业项目更容易通过验收的形式。6.3 时间规划建议书下面是一个可以参考的思路，假设毕设周期为八周，企业项目在此基础上再增加两周：阶段天数核心任务需求与建模第1~7天阅读相关文献，确定状态空间、动作空间和奖励函数小规模环境搭建第8~14天实现二维简化环境，训练第一个可工作的选点策略低层控制训练第15~21天建立带障碍和电量约束的环境，训练低层控制策略联合微调第22~28天解冻两个模块，做联合微调，记录训练曲线基线对比实验第29~35天跑精确算法、元启发式算法、DRL对比实验消融实验第36~42天去掉关键模块，做消融实验并分析原因论文或文档整理第43~49天整理图表，撰写论文或项目文档答辩或部署验收第50~56天准备答辩材料/完成接口联调与异常测试如果做企业项目，我会在第15天前就把接口定义清楚，避免后期返工。实际交付时，还要准备一份“模型局限说明”，明确告诉使用方哪些场景下模型不适用，这比承诺“万能”更能赢得信任。7. 常见问题与排查心得7.1 训练不收敛怎么办训练曲线长期不下降，先不要动网络结构，按以下顺序排查：检查奖励尺度是不是跨度过大；检查动作概率熵是不是还没下降，说明模型没在有效学习；检查mask是不是写对了，如果已访问节点的概率没有被屏蔽，策略会卡在重复访问的循环里；最后检查baseline是否有效。这个顺序一半的case都能解决。如果训练过程中loss出现明显尖峰，大概率是某一步更新时advantage计算出了极大值。可以从梯度裁剪入手，把gradient clip设成0.5或1.0，这在PPO和注意力模型上都很有效。还有一个小技巧：先固定一个简单的实例做训练，看模型能不能完全记住并过拟合。如果连固定实例都学不会，说明网络容量或训练流程有问题；如果能过拟合，再换随机实例集，往往就通了。7.2 策略出现“刷分”行为reward hacking在无人机任务里非常常见。我遇到过的最典型情况是，模型会把线路规划成在几个点之间打转，为了反复获得“到达新节点”的奖励。排查时，把每个episode的“访问节点数”和“总航程”画在散点图里，如果访问节点数持续增加而总航程也异常膨胀，基本可以确定是奖励设计有问题。解决的思路是增加“第一次访问才有效”的硬性判定，并在奖励函数里加入一个“绕路惩罚项”，比如对无人机飞行轨迹的总转角做惩罚。这样策略即使想绕圈，也要付出代价。还要注意奖励函数的各个分量之间不要存在“对冲”，比如节点奖励远大于路径惩罚，就会诱导绕路。权重设置好后，在小规模数据集上跑几十个episode，人工检查几条轨迹的可视化，基本能快速发现奖励漏洞。7.3 泛化性差，换个规模就崩模型在50节点上表现很好，拿到100节点就完全失效，这是初学者最容易遇到的瓶颈。原因往往是状态表示里包含了绝对坐标，或者训练时节点数范围太窄。解决方案分两步：第一，使用相对坐标+数据集归一化，第二，训练时把节点数做成随机分布，例如从50到120之间均匀采样。这样模型见过不同规模的任务，才能学到与规模无关的排序规律。另一个重要技巧是解码时使用“贪心搜索”和“采样”的混合策略。训练时用采样提高探索；评估时可以用贪心搜索或者beam search，能明显提升稳定性和路径质量。不少人只在训练时用采样，评估时也随机采样，结果每次跑出来的路径质量差别巨大，给人一种模型不稳定的错觉。实际上，调低评估阶段温度参数，让动作概率分布更尖锐，泛化性能通常不会太差。7.4 训练时间过长，资源有限深度强化学习很吃计算资源。如果只有一块普通显卡，建议先降低环境复杂度，把视觉输入去掉，只用数值坐标做状态，能大幅减少训练时间。另外用混合精度训练能把显存占用降低近一半，训练速度也有提升。若还是太慢，可以先训练一个更小的网络配置，等验证整体流程可用后，再恢复到完整配置。还有一个更取巧的做法：把训练和验证并行化。训练过程中，每隔固定步数就在一个固定验证集上跑一次评估，一旦验证指标连续多次没有提升，就提前停止训练。这个机制可以节省大量不必要的训练时间，也算一种有效的早停策略。在多次踩过坑之后，我最大的体会是：深度强化学习项目成败的关键不在算法多炫，而在于你愿不愿意把状态、动作、奖励这三件基础工作做到足够细致。只要先让低层控制策略飞得稳、高层选点策略看得准，再去做联合微调，绝大多数问题都会变得可控。如果你现在正卡在训练不收敛或者指标对不上，先别急着换网络结构，回去重新审视状态表示和奖励配比，大概率能找到突破口。
我最早做这个课题，是因为手里接了一个无人机配送的仿真验证任务：一架四旋翼要在尽量短的时间内访问完若干个任务点，最后回到起降点。乍一看就是经典的旅行商问题（TSP），但把“车”换成“无人机”，问题性质马上变了。后来我基于深度强化学习做了一套求解方案，用在高层的任务点排序、低层的航迹控制上，既覆盖了毕业设计需要的完整实验链路，也满足了某企业项目对实时性和可部署性的要求。这篇博文就把这套实战方案完整拆一遍，从问题建模、算法选型、训练稳定性到指标设计、交付差异，给正在做毕设选题或者准备把强化学习落到无人机路径规划上的朋友，一个可以直接参考的技术路线。1. 无人机TSP的问题重构：为什么书本上的模型不够用1.1 经典TSP与无人机TSP的差异经典TSP的定义非常简单：给定若干城市的坐标，找一条经过所有城市且只经过一次的最短闭合回路。计算机科学里研究的是组合优化性质，图论里讨论的是NP难度。但当执行者从抽象的点变成一架真实无人机时，最短路径不再是唯一目标，准确说是“最短”这个目标本身都需要重新定义。无人机的能耗并不严格正比于距离，旋翼在悬停、匀速巡航、转弯、爬升时的功率消耗差异很大。风向、风速、电池容量限制、禁飞区、建筑物遮挡，这些问题都会让两个节点之间的“代价”变成方向相关、时间相关的量。更关键的是，无人机存在最小转弯半径，很多在几何上最短的折线路径，实际飞行时根本走不出来。所以在无人机TSP里，用户给的不是一张带权完全图，而是一个带物理约束的连续状态空间。我在实际建模时，会把经典TSP里的“城市”扩展成带属性的任务点：坐标、耗时、优先级、时间窗、电量消耗预估。把“路”扩展成一条满足动力学约束的可行航迹，而不是一条直线。这样问题就从单纯的“排序问题”变成“排序+轨迹规划”的耦合优化问题。这是无人机TSP和课本TSP最大的区别，也是整个算法设计的起点。1.2 深度强化学习在这里有什么不可替代的价值传统解法大致分成三类：精确算法、元启发式算法和近似算法。精确算法能拿到最优解，但规模超过二三十个节点时，计算时间会迅速失控；遗传算法、蚁群算法这些元启发式能处理中等规模，但它们每一次求解都是独立的优化过程，遇到新的任务点分布，需要重新跑一遍迭代，实时性很难保证。深度强化学习解决的是“离线训练，在线推理”的问题。网络通过大量随机实例学出一种从环境状态到动作的映射规则，训练结束以后，给它一组新的任务点坐标，它可以在几十毫秒内输出一个排序结果，不需要重新搜索。这种特性非常契合无人机实时任务：任务点可能临时增加，环境可能动态变化，不可能每次都花几十秒重新计算全局路径。另一个优势是深度强化学习方便融入传感器信息。视觉图像、雷达点云、GPS坐标这些东西，本质上都能通过神经网络编码成状态特征。只要训练环境做得足够真实，学出来的策略可以直接感知障碍物和威胁区域，这是传统组合优化工具很难做到的。当然，DRL也会带来训练不稳定、泛化性能难保证的问题，但这些可以通过后续方案设计来控制。2. 整体方案设计：状态、动作、奖励这三件事定成败2.1 状态空间该怎么设计很多第一次做这个课题的人，上来就把所有信息一股脑塞给网络，想着“网络自己会学”。实际上，状态空间设计得不好，训练过程会非常痛苦。我习惯把状态分成三组：任务点状态、无人机状态、环境状态。任务点状态包括每个节点的坐标、访问状态、剩余需求、优先级和时间窗；无人机状态包括当前位置、剩余电量、当前速度、航向；环境状态包括障碍物位置、威胁区域、风场等信息。这里最容易被忽略的是“访问状态”的表达。如果直接用布尔值记录“访问过/没访问过”，网络很难区分出“已经访问过”这个信息，因为它本质上是顺序相关的。推荐的做法是用一个mask向量，在动作输出时直接把已访问节点对应的概率设为负无穷，从机制上禁止重复访问。另一个设计细节是坐标系的选择。绝对坐标会导致模型难以泛化到不同尺度的任务区域。我通常会把所有坐标减去当前无人机位置，再用整个任务区域的最大边长做归一化，让网络看到的是相对坐标。这个改动看起来简单，但对泛化性能的提升非常明显，特别是在从50个节点的训练环境迁移到100个节点的测试环境时。2.2 动作空间：直接用连续控制还是输出节点选择动作空间是另一个决定训练难度的分岔口。如果你的目标是解一个TSP排序问题，最自然的做法是让网络输出一个“下一访问节点”的离散动作，也就是在未访问节点集合上做一个分类。这种情况下可以用带mask的softmax输出概率，配合指针网络或者注意力模型来构造策略网络。如果你的场景还需要无人机同时决定具体的航迹，比如绕开障碍物、考虑转弯半径，那么就需要连续动作空间，直接输出期望航向角、速度或者下一时刻的参考位置。连续动作空间适合用PPO、TD3这类连续控制算法，但训练难度明显更高，因为动作空间是无限大的，一个微小的动作偏差都可能导致碰撞或电量耗尽。在实际项目中，我不建议把所有决策都压在一个网络里。更可靠的做法是两段式：高层决策网络负责从所有未访问任务点中选一个作为当前目标，输出离散动作；低层控制网络或传统控制器负责生成从当前位置到目标点的可行航迹，输出连续量。打个比方，高层策略像外卖员决定下一单去哪个客户家，低层控制像骑车时怎么避开路人。两个问题解耦后，每个网络的任务都更单纯，训练难度会低很多。2.3 奖励函数：最容易踩坑的地方奖励函数是整个强化学习方案里最容易被低估的部分，它直接决定了策略最终会学出什么畸形行为。一开始我做尝试时，用的奖励很简单：每访问一个新任务点给+10，完成任务再给+50，总航程每增加一米给-0.1。结果策略很快学会了一种奇特的行为：无人机在两个相邻任务点之间来回小幅度绕圈，反复蹭“访问新节点”的奖励，或者故意绕远路拖延时间，只因为总惩罚远小于新节点奖励。后来我把奖励重新拆开设计：只有第一次访问节点才给正奖励，重复访问完全不给分；路径代价用归一化后的长度惩罚，而不是绝对长度；再加上一个能量惩罚项，如果剩余电量过低，就施加一个较大负值并重置该回合。对于有时间窗的任务，还会加入“早到等待惩罚”和“迟到惩罚”。这些项不是越多越好，每个项都要配一个合适的权重，权重设置需要在小规模随机实例上做一轮敏感性实验。重要的一点是奖励尺度不能太大也不能太小。如果每个节点的奖励都是100，路径惩罚是0.01，那策略根本不在乎路径长短，只会疯狂追求访问节点数；反过来，如果路径惩罚大到路径长度稍微变化就压过访问奖励，策略会选择干脆停在原地不动，因为多走一步都是亏。我一般会把单回合总奖励控制在正负10这个量级，这样网络的学习信号不会过强或过弱。3. 核心算法选型与网络结构3.1 组合优化层：为什么优先考虑注意力机制类模型经典TSP这类排列问题，输出是一个变长的节点序列。通用的卷积网络或全连接网络很难处理这种“输出元素数量不固定”的任务。早期有人用循环神经网络来逐个输出节点，但效果一般，长序列信息容易丢失。现在的主流思路是用注意力机制，把任务节点通过Encoder编码成一堆特征向量，然后Decoder逐个生成下一个节点。注意力模型有一个很大的优势：它对输入节点数量不敏感。训练的时候用50个节点，测试时换成120个节点，只要位置编码设计得好，网络仍然能输出合理的排序结果。我用的选点策略网络就是这个思路：Encoder部分把每个任务点映射成特征表示，加上当前无人机位置和剩余电量信息；Decoder部分根据已访问集合，结合mask机制，输出所有未访问节点的概率分布，每次采样一个节点作为下一目标。训练这个选点策略时，我建议用带baseline的策略梯度方法。具体来说，用同一个网络在同一个输入实例上做两次采样，一次作为当前策略轨迹，一次作为基线轨迹，用两条轨迹的奖励差异作为优势估计。这样比直接使用一个固定Baseline的方差要小得多，收敛也更快。这个思路来源于经典强化学习里的REINFORCE with baseline，但在注意力模型上更容易训练。3.2 低层控制层：PPO、TD3还是经典控制无人机从当前点到目标点的飞行控制，可以简单建模成二维平面上的运动，也可以直接建出完整的六自由度模型。我实际实验时，先用一个简单的质点模型验证整体逻辑，再用带惯性环节和传感器噪声的模型做联合微调。低层控制网络的算法选择上，PPO是最省心的，它对超参数的敏感性相对较低，熵正则项能防止策略过早固化。如果场景中障碍物密集、需要非常精细的连续动作，TD3这类带确定性策略的算法往往效果更好，但TD3对参数初始化、经验回放比例、探索噪声都比较敏感，需要更多调试时间。DDPG我后来基本不推荐用于无人机近距离机动，因为它经常会出现Q值过估计，导致训练过程中性能突然掉下去。这里要说一句：低层控制不一定非要用神经网络。如果任务是常规的室内或园区环境，没有太多动态障碍，传统控制加路径跟踪就完全够用。让强化学习去学那些本来就能用传统控制解决的问题，只会增加训练难度。只有环境存在较强的随机性和不确定性时，低层控制网络才真正有价值。所以我在方案里的建议是“先经典控制，后端到端强化”，这是一个工程风险最低的路线。3.3 两阶段训练的联合微调策略很多人以为端到端训练就是“一个网络从输入图像输出航迹，奖励函数统一调”，这是最大的误解。端到端的梯度要穿越高频率控制层，梯度方差极大，训练曲线经常是灾难性的波动。我采用的策略是分阶段训练：先把高层选点策略冻住，只更新低层控制策略，让它学会在给定的目标点序列下稳定飞行；然后把低层控制策略冻住，只更新高层选点策略，让它基于一条理想的直线航线代价来学习排序。两个子策略各自收敛后，再解冻所有参数做联合微调。这时高层的奖励不再来自理想化直线代价，而是来自低层控制策略真实执行后的能耗和路程。联合微调的作用是让高层排序“理解”低层飞行的真实代价，比如某些节点虽然直线距离近，但转弯和避障消耗很大，高层就会学会避开这些组合。联合微调阶段的学习率要比预训练阶段低，通常降到原来的三分之一到五分之一，训练步数也不用太长，让两个模块微调对齐即可。4. 实战环境搭建与训练细节4.1 仿真环境的分级选择如果一上来就打开物理引擎、加载真实地图、开启气象扰动，大概率会陷入“不知道问题出在算法还是环境”的困境。我强烈建议把仿真环境分成三级：第一级是纯二维网格世界，任务点随机生成，无人机假设能沿直线飞行，用来验证选点策略的正确性；第二级加入简单多边形障碍物和电量约束，允许使用低层控制策略或经典路径规划，用来验证整体路径的可行性；第三级才进入高保真仿真，加入转弯速率限制、风场扰动、传感器噪声，用来评估真实部署可行性。每一级环境都要保留独立的接口，方便用同一套算法代码做对比。我见到的失败案例大多是跳级太快，比如直接上高保真仿真，训练一个晚上连基础的任务完成率都上不去，最后发现是传感器噪声过大，而不是算法本身有问题。调试问题要先排除环境问题，再排除奖励问题，最后才动网络结构。这是很重要的排查顺序。在实践中，环境里还要加入“随机任务生成器”，每次reset时随机生成新任务点、随机设置无人机起始位置和电量。如果训练集永远只有那几张固定地图，模型学出来的可能是地图记忆，而不是通用策略。任务生成的随机性要和后续测试规模的分布保持一致，训练时可以比测试规模略小，但类型不能差太远。4.2 训练稳定性：我踩过的大坑与解法训练不收敛，是深度强化学习项目里最常见的情况，无人机TSP尤其如此。我踩过的第一个坑是奖励尺度不统一。路径长度惩罚上千，访问奖励只有几十，网络直接放弃行动。我后来把所有奖励项做了min-max归一化，让单回合总奖励控制在正负10附近。第二个坑是经验回放的时间相关性。PPO这类on-policy算法不应该使用经验回放，每次更新必须用当前策略采样的数据；而DQN类算法才需要经验回放。我曾经用类似做法把历史episode塞给PPO更新，结果策略评估严重偏置，训练曲线看起来很好，但实际执行效果很差。原因是过时的数据不能代表当前策略的分布，训练方差会暴涨。第三个坑是熵正则参数的设置。熵系数太大，策略永远在随机探索，学不出有效路径；太小的策略很快就坍缩成总去最近节点，丧失了全局优化能力。我一般从0.01开始，如果发现策略过早确定，每500轮降低一半，直到性能稳定。学习率方面，配合warmup预热和线性衰减，可以有效避免前期梯度爆炸。4.3 训练流程参考伪代码下面给出一个实战训练流程的伪代码，展示高层选点策略训练的核心循环。我这里不依赖具体深度学习框架，只体现逻辑结构。# 高层选点策略训练循环（伪代码） for episode in range(max_episodes): state = env.reset() done = False log_probs = [] rewards = [] visited = [] while not done: mask = build_mask(current_node, visited) action, log_prob = policy_network(state, mask) next_state, reward, done = env.step(action) log_probs.append(log_prob) rewards.append(reward) state = next_state baseline_rewards = rollout_with_critic(state, env) discounted_rewards = discount(rewards, gamma=0.99) advantage = discounted_rewards - baseline_rewards loss = -sum(log_probs * advantage) + entropy_penalty(0.01) optimizer_step(loss)这个循环看起来简单，但关键点都在细节里：mask必须在采样之前就屏蔽已访问节点；advantage需要从真实轨迹中计算，不能直接用最终奖励；熵惩罚要加到损失函数里，而不是额外手动给reward。每一步的reward最好在环境中同时返回，方便用可视化工具实时检查。4.4 超参数参考表下面这张表是我在实际训练中反复调试后得到的一组可行参数，不同场景需要微调，但可以当作起点。参数高层选点策略低层控制策略算法类型注意力模型 + 策略梯度PPO学习率1e-4，warmup后线性衰减3e-4，clip后衰减Batch Size64256熵系数0.010.01GAE Lambda-0.95Clip范围-0.2训练任务点数范围20~8020~120单回合最大步数200200这个表不是万能药，但如果你的训练一直震荡，可以从学习率和熵系数开始调，通常比改动网络结构更快见效。5. 实验结果分析与核心指标5.1 评估指标：别只看路径长度很多初学者只盯着“平均路径长度”一个指标，这是不够的。在无人机场景里，“总能耗”往往比“路径长度”更能说明问题。我实际评估时会同时看四类指标：总能耗、单实例求解耗时、任务完成率和泛化性能。总能耗需要结合无人机的功率模型来计算，不同速度、不同转向下功率不同，不能简单用距离换算。求解耗时是实时性指标，在高保真仿真里，如果单实例需要几秒钟才能决策一次，那任务点一多就完全跑不过来。任务完成率指的是在电量约束和障碍约束下，能够成功访问所有任务点的回合比例。泛化性能则看模型从训练规模迁移到更大规模时，路径长度恶化了多少。这些指标不能只看平均值，还要看方差。我在实验中发现，遗传算法平均路径长度不错，但最差情况非常离谱，有时会因为坏种子生成一个很差的结果；深度强化学习模型的方差通常更小，稳定性更好。要在论文或项目报告里同时公布均值和标准差，才是一个有说服力的对比。5.2 对比基线的选择原则对比基线设置不公平，是答辩和项目评审中最容易被攻击的点。正确的基线应该是：小规模问题用精确算法求最优解，用来回答“离最优解有多远”；中等规模用成熟元启发式算法，比如遗传算法、蚁群算法，用来回答“跟传统优化比是否有优势”；大规模用简单启发式，比如最近邻算法，用来回答“是不是至少比朴素策略好”。我见过一个反面案例：只跟随机策略做对比，DRL模型当然赢得毫无悬念，但没有任何说服力。也见过另一个反面案例：拿DRL和一个专为静态TSP调参到极致的元启发式算法对比，然后说DRL更差，这同样不公平，因为DRL的优势在实时性和动态环境，而不是在静态离线场景下追求最优。合理做法是这样：在静态50节点实例上，DRL和传统元启发式打平或略差；但在动态场景中，任务点突然变化，传统元启发式需要重新计算，DRL可以直接复用已学策略，在几十毫秒内输出新方案，这是传统方法的几十倍速度提升。把这两种场景放在一张对比表里，才能体现出深度强化学习的真实价值。5.3 一组典型观察结果为了直观展示实验结果形态，我列一组来自我方验证环境下的典型观察数据，不同环境差异会很大，但可以作为量级参考。50节点随机实例，最近邻算法平均路径长度约为基准值的118%，求解耗时约0.02秒。经典元启发式算法平均路径长度约为基准值的97%，但单实例求解耗时平均约8秒，且方差大。训练后的注意力选点策略，平均路径长度约为基准值的98%，单批次推理100个实例总耗时约0.2秒，平均单实例耗时才2毫秒。加入动态障碍和电量约束后，低层控制策略的任务完成率达到85%，比不带控制层的直线规划高了近20个百分点。这组数据说明两件事：第一，DRL模型在静态问题上有能力逼近传统优化算法；第二，在实时决策和高维约束场景下，DRL的速度优势非常明显。这正好呼应“毕设/企业双适配”的主题：毕设里用静态实例证明模型有效性，企业场景里用动态实例证明实时性和鲁棒性。6. 毕设与企业场景的差异化适配6.1 毕业设计的核心：理论闭环与消融实验毕设评审最看重的是“你理解这个问题，并且亲手验证了每个设计选择”。所以不能只做“训练了一个模型，效果还不错”这种级别的工作。我在给A同学指导时，建议把课题拆成四个递进的部分：问题定义与建模、算法设计与实现、实验对比与分析、消融实验与讨论。消融实验非常加分。比如通过“去掉mask机制”“去掉baseline”“把相对坐标改成绝对坐标”这几个控制变量，来说明每一个设计组件的具体贡献。这会让答辩评委看到你不是在调参，而是在做系统性的工程验证。另外，毕设论文里要写清楚公式推导过程，尤其是策略梯度目标函数、注意力机制的注意力权重计算，这些是评审老师最容易展开追问的地方。还有一个容易被忽略的点：实验数据要可复现。建议把每个随机种子下的实验记录都保留好，答辩前重新跑一遍关键实验，确保曲线能稳定复现。如果只是临时跑了一组漂亮的曲线，答辩现场一问细节就露馅。扎实的数据管理能力本身就是毕设评分的重要加分项。6.2 企业项目的核心：接口、异常处理和混合架构企业场景对“创新性”的容忍度很低，最关心的是模块能不能稳定嵌入到已有业务流程里。所以DRL模型不能只是一个孤立的Python脚本，而要封装成有明确输入输出的服务接口。输入是任务点坐标数组、无人机当前位置、剩余电量、障碍物列表，输出是目标点序列和参考航迹。接口协议尽量统一，方便调度系统调用。异常处理是企业项目中绕不开的一环。电量不足时，模型要能主动触发返航机制，而不是硬着头皮继续访问下一个任务点；当某个任务点临时被取消或新增，模型要能在不重新训练的情况下自动调整排序；如果模型因为某个极端输入输出不合法动作，系统需要有规则层拦截，并切换回保守策略。我建议采用混合架构：DRL模型作为在线推荐器，输出排序建议；规则系统和传统求解器作为兜底。如果DRL输出结果在质量阈值以内，就采纳；如果输出结果超时、置信度低或者被规则校验拒绝，就回退到启发式方案。这种架构能大幅降低上线风险，也是企业项目更容易通过验收的形式。6.3 时间规划建议书下面是一个可以参考的思路，假设毕设周期为八周，企业项目在此基础上再增加两周：阶段天数核心任务需求与建模第1~7天阅读相关文献，确定状态空间、动作空间和奖励函数小规模环境搭建第8~14天实现二维简化环境，训练第一个可工作的选点策略低层控制训练第15~21天建立带障碍和电量约束的环境，训练低层控制策略联合微调第22~28天解冻两个模块，做联合微调，记录训练曲线基线对比实验第29~35天跑精确算法、元启发式算法、DRL对比实验消融实验第36~42天去掉关键模块，做消融实验并分析原因论文或文档整理第43~49天整理图表，撰写论文或项目文档答辩或部署验收第50~56天准备答辩材料/完成接口联调与异常测试如果做企业项目，我会在第15天前就把接口定义清楚，避免后期返工。实际交付时，还要准备一份“模型局限说明”，明确告诉使用方哪些场景下模型不适用，这比承诺“万能”更能赢得信任。7. 常见问题与排查心得7.1 训练不收敛怎么办训练曲线长期不下降，先不要动网络结构，按以下顺序排查：检查奖励尺度是不是跨度过大；检查动作概率熵是不是还没下降，说明模型没在有效学习；检查mask是不是写对了，如果已访问节点的概率没有被屏蔽，策略会卡在重复访问的循环里；最后检查baseline是否有效。这个顺序一半的case都能解决。如果训练过程中loss出现明显尖峰，大概率是某一步更新时advantage计算出了极大值。可以从梯度裁剪入手，把gradient clip设成0.5或1.0，这在PPO和注意力模型上都很有效。还有一个小技巧：先固定一个简单的实例做训练，看模型能不能完全记住并过拟合。如果连固定实例都学不会，说明网络容量或训练流程有问题；如果能过拟合，再换随机实例集，往往就通了。7.2 策略出现“刷分”行为reward hacking在无人机任务里非常常见。我遇到过的最典型情况是，模型会把线路规划成在几个点之间打转，为了反复获得“到达新节点”的奖励。排查时，把每个episode的“访问节点数”和“总航程”画在散点图里，如果访问节点数持续增加而总航程也异常膨胀，基本可以确定是奖励设计有问题。解决的思路是增加“第一次访问才有效”的硬性判定，并在奖励函数里加入一个“绕路惩罚项”，比如对无人机飞行轨迹的总转角做惩罚。这样策略即使想绕圈，也要付出代价。还要注意奖励函数的各个分量之间不要存在“对冲”，比如节点奖励远大于路径惩罚，就会诱导绕路。权重设置好后，在小规模数据集上跑几十个episode，人工检查几条轨迹的可视化，基本能快速发现奖励漏洞。7.3 泛化性差，换个规模就崩模型在50节点上表现很好，拿到100节点就完全失效，这是初学者最容易遇到的瓶颈。原因往往是状态表示里包含了绝对坐标，或者训练时节点数范围太窄。解决方案分两步：第一，使用相对坐标+数据集归一化，第二，训练时把节点数做成随机分布，例如从50到120之间均匀采样。这样模型见过不同规模的任务，才能学到与规模无关的排序规律。另一个重要技巧是解码时使用“贪心搜索”和“采样”的混合策略。训练时用采样提高探索；评估时可以用贪心搜索或者beam search，能明显提升稳定性和路径质量。不少人只在训练时用采样，评估时也随机采样，结果每次跑出来的路径质量差别巨大，给人一种模型不稳定的错觉。实际上，调低评估阶段温度参数，让动作概率分布更尖锐，泛化性能通常不会太差。7.4 训练时间过长，资源有限深度强化学习很吃计算资源。如果只有一块普通显卡，建议先降低环境复杂度，把视觉输入去掉，只用数值坐标做状态，能大幅减少训练时间。另外用混合精度训练能把显存占用降低近一半，训练速度也有提升。若还是太慢，可以先训练一个更小的网络配置，等验证整体流程可用后，再恢复到完整配置。还有一个更取巧的做法：把训练和验证并行化。训练过程中，每隔固定步数就在一个固定验证集上跑一次评估，一旦验证指标连续多次没有提升，就提前停止训练。这个机制可以节省大量不必要的训练时间，也算一种有效的早停策略。在多次踩过坑之后，我最大的体会是：深度强化学习项目成败的关键不在算法多炫，而在于你愿不愿意把状态、动作、奖励这三件基础工作做到足够细致。只要先让低层控制策略飞得稳、高层选点策略看得准，再去做联合微调，绝大多数问题都会变得可控。如果你现在正卡在训练不收敛或者指标对不上，先别急着换网络结构，回去重新审视状态表示和奖励配比，大概率能找到突破口。