做高光谱分类做了快三年我越来越觉得真正难的不是把模型堆深而是让模型知道“该看什么”。早期我们用3D-CNN后面换成Transformer精度是一路涨但代价也肉眼可见参数量上去了训练变慢而且很多patch明明用不到那么复杂的全局注意力照算不误。后来我们做了个决定与其让所有输入走同一条特征提取流水线不如让模型自己“挑路走”。这就是本篇要分享的 LGEST 动态空间-光谱专家路由框架。一句话概括它通过一个轻量的路由网络让每个像素patch在光谱专家和空间专家之间动态分配计算资源只激活最相关的一两个专家路径从而在精度、参数量和推理速度之间找到更好的平衡点。适合谁来参考如果你在做高光谱图像分类或者你在折腾视觉模型里的MoE专家混合思路落地再或者你只是好奇“为什么多专家动态路由比单一大模型更好用”这篇都值得看完。我会把设计动机、路由细节、实验结论和复现过程中踩过的坑一次说清楚。1. 我为什么放弃“一味加深”的旧方案1.1 高光谱图像的特殊结构高光谱图像和普通RGB图最本质的区别在于“维度”。一张RGB图每个像素只有R、G、B三个值而高光谱图像每个像素通常带几百个连续波段的反射率值。以我们常用的机载、星载传感器获取的数据为例波段数一般在100到250之间有的甚至超过300。换句话说每个像素本身就能拉出一条密集的光谱曲线这条曲线包含地物在可见光到短波红外范围内的吸收、反射特征。这种结构带来两个直接后果。第一一条像素光谱之间的波段相关性极强相邻波段往往对应同一吸收特征的两个采样点传统分类器如果把每个波段当独立特征就会重复计算大量冗余信息第二单个像素单独看并不总能判断出类别很多地物在光谱上高度相似必须结合周围像素的空间纹理才能区分开。所以高光谱分类几乎默认要同时利用光谱维度和空间维度这也是“空间-光谱联合特征”这个概念一直处于C位的原因。1.2 固定注意力路径的瓶颈Transformer架构在高光谱分类上之所以效果好是因为自注意力能对波段间关系、patch内邻域关系做全局建模。但我们训练过程中发现一个很别扭的问题不管输入是农田中心的均质patch还是地物边缘的混合patch模型都花费同样的计算量去跑完整的注意力堆叠。实际上不同patch的判别难度和信息分布差异非常大。一个完全处于同质区域的patch光谱曲线本身就能很好地判别类别空间上下文对它的帮助有限而一个处于地物边界或包含细微纹理的patch光看光谱特征容易混淆必须借助空间结构信息。固定路径的做法本质上是让所有样本强行共享同一套参数偏好等于在“光谱判别型样本”和“空间依赖型样本”两组需求之间取了一个平均谁都没有被服务到位。还有一个现实问题计算开销。patch数目多、波段维度高如果每个patch都走全量Transformer编码器训练和推理都很难受。我们在某个版本里把patch从11×11波段维降到64模型参数并不多但自注意力的中间矩阵和特征缓存还是把训练时长拉得很高。一味加深网络的边际收益也在递减——从第12层加到第20层OA提升不到0.3个百分点训练时间却翻了一倍。1.3 从MoE得到的灵感后来我们重新看了推荐系统和NLP领域常用的专家混合思路。MoE的核心逻辑很直白准备多个结构不同的子模型专家再用一个可学习的路由网络决定每个输入调用哪些专家。稀疏激活意味着每个样本只用总模型的一部分参数做推理理论上能扩大模型容量而不等比增加计算量。这个逻辑搬到高光谱分类里非常自然光谱专家专注波段依赖关系空间专家专注邻域纹理结构混合专家处理两者都比较重要的样本让路由网络根据patch内容做“人来分配任务”式的调度。这样每条样本走自己最擅长、最需要的路径容量上去了、单样本计算量控制住了、特征也更对齐任务需求。LGEST就是在这样一个动机下搭起来的。2. LGEST整体框架专家怎么分工门控怎么工作2.1 整体流程LGEST的处理流程大致分四步。第一步围绕每个目标像素提取一个固定大小的空间patch我们默认用11×11然后对整条波段做降维把原始波段从一百到两百多个压缩到40到60维用1×1卷积或线性投影完成直接降低后续注意力开销。第二步把patch投影成一组token光谱方向一个token序列空间方向一组patch token分别进入两类专家。第三步路由网络根据patch的全局描述子计算专家偏好分数选择Top-1或Top-2专家并把token分配给它们。第四步被选中的专家输出特征经过轻量融合层再送入分类头。这里有朋友可能会问为什么不直接把专家输出拼接起来拼接当然可以但信息冗余会变大。实际测试下来专家的输出差异不完全互补有一部分是重叠特征拼接后需要额外全连接层做筛选。我们最后采用的是“门控分数加权融合”路由分数作为软权重对Top-2专家输出做加权平均再接残差。这样融合参数极少而且保持了路由决策的梯度通路。2.2 光谱专家专注波段关系光谱专家的任务是把一条光谱曲线里的波段依赖吃透。具体上我们不是简单扔给一个全连接层而是先用一维卷积在波段维度上滑动用3到5个不同尺寸的卷积核对相邻波段做局部特征提取——这一步类似于在光谱曲线上做“局部吸收特征检测”能捕捉窄带吸收峰和斜率变化。后面再接一个轻量的自注意力模块建模相隔较远的波段之间比如可见光波段和短波红外波段是否存在协同判别能力。光谱专家的输入组织方式有个细节我们把降维后的波段序列直接当作一维token序列位置编码用可学习的波段索引编码而不是用正弦编码。因为高光谱波段是有物理顺序的相邻波段不一定是纯位置关系可学习编码能更灵活地表达波段间的非线性间距。实验对比过用正弦编码在测试集上会损失约0.2到0.4个百分点的精度可学习编码更稳。2.3 空间专家专注邻域结构空间专家的设计思路正好反过来它把patch当作一张普通的二维图像只在空间位置上做卷积和注意力不关心波段维度。我们的做法先对patch做通道维压缩比如把60维压到24维再送入两个3×3深度可分离卷积提取局部纹理、边缘、同质区域等基础空间特征然后加一个窗口自注意力在7×7的窗口内建模邻域结构长程依赖。为什么窗口设置成7×7我们做了网格搜索5×5窗口在有些类别上空间感受野不够容易忽略中等尺度的纹理11×11窗口计算量上升明显而精度和7×7几乎一致。7这个数字在农地块、城市街区这类中等尺度地物上是比较均衡的选择。如果数据集里的地物尺度更粗或更细这个值得重新调。空间专家对均质patch其实贡献不大但它对边缘混合像元的判别极为关键。比如一条道路和旁边植被交界处的像素光谱曲线可能同时混合了两类物质的光谱信号单靠光谱专家很容易被带偏而空间专家能通过周围像素的类别一致性把它拉回正确轨道。2.4 专家数量的权衡我们最终在框架里放了四个专家两个光谱型、两个空间型。为什么不干脆多放几个最初我们试过六个专家三个光谱、三个空间每个专家内部结构再做差异化设计比如其中一个光谱专家用更宽卷积核捕捉宽缓吸收特征另一个用窄卷积核捕捉尖锐特征。精度确实继续涨但涨得很有限整体OA提升不到0.3个百分点而训练时的显存开销和专家缓存压力明显变大。更关键的是专家越多路由网络的决策压力越大。样本分布并不均匀有些专家在训练中始终只被少数样本选中负载不均衡问题更突出需要用更强的辅助损失去压反而干扰了主分类损失。四个专家在容量和训练稳定性之间是一个比较甜的位置。3. 路由机制的核心细节分数怎么算、怎么稀疏化、怎么保持均衡3.1 用“全局描述子”打路由分数路由网络要回答的问题很直接当前这个patch应该优先走光谱专家还是空间专家我们用来做决策的信息不是全部token而是先用一个轻量特征描述子把patch全局状况概括出来。具体实现是把降维后的patch在空间维度上做全局平均池化拿到一条平均光谱向量比如60维再拼上光谱标准差向量因为方差能反映patch内部光谱异质程度——均质patch的方差小边缘patch的方差通常较大。把这80到120维向量送入一个两层MLP中间带ReLU和Dropout输出维度等于专家数量最后套softmax得到路由分数。这个设计比直接拿每个token分别过路由网络要高效得多而且稳定性好。因为如果路由对每个token独立打分再融合token个数多、噪声大决策波动明显训练早期经常出现同一个patch在相邻epoch里走向不同专家的情况。全局描述子则天然做了平滑。3.2 Top-1和Top-2的取舍路由分数出来后怎么选专家我们实验了三种模式Top-1硬路由、Top-2硬路由加权融合、以及软路由所有专家都参与分数当权重。软路由的精度最高但失去了MoE稀疏激活的意义——所有专家都被激活计算量没有任何节省。Top-1路由最省计算但问题也很明显某个专家的判断一旦出错没有其他专家兜底精度波动大。最后我们定在Top-2硬路由加加权融合每张patch只激活分数最高的两个专家另外两个专家完全不参与计算。这样一条样本的计算量大约是专家总数的二分之一再加上轻量路由和融合开销整体推理比同规模的稠密Transformer省很多。Top-2还有一个副产品两个专家对不同类别有天然的分工记忆。比如农田相关类别更多走光谱专家混合专家城区建筑类更多走空间专家混合专家。这等于模型内部自发形成了一份“地物-专家关联表”对后续做模型解释很有价值。3.3 负载均衡不能把所有样本都扔给同一个专家动态路由最大的噩梦是训练过程中路由网络退化它发现光谱专家在多数样本上效果不错于是几乎给所有patch都打了高分少数专家被饿死。这不是我们想要的因为被饿死的专家等于白白浪费容量。我们的解决办法跟经典MoE做法一致在损失函数里加一项负载均衡辅助损失。具体算法是统计一个batch内每个专家被选中的比例理想比例是接近均匀分布然后对实际分布和均匀分布之间计算惩罚。我们用基于计数的负载均衡loss把每个专家的被选概率向量和该专家在batch内得到的平均路由分数做点积再求和越偏离均衡值loss越大。这项loss乘以一个小权重我们取0.01后面会细说加入总损失。另外一个工程手段是“专家容量”限制。每个专家在一个batch内最多处理固定数量的token超出部分直接走残差连接输出不再拥塞进专家。这个容量上限设为 batch内token总数除以专家数再乘一个容量因子因子我建议取1.25。容量因子大于1意味着允许一定程度的负载不均衡但限制过大倾斜小于1会频繁丢token损害精度。这个设计在实践中非常管用它从机制层面兜底防止路由网络的一侧倒。4. 实验设计的参考答案什么在起作用什么只是幻觉4.1 三组公开数据上的效果参考我们分别在两组机载数据和一组星载仿真数据上做了对比实验。这里不展开具体数据集名称和绝对指标因为数字在不同输入patch、不同训练比例下会有差异只说我们实验环境里的相对规律LGEST的总体分类精度OA比我们复现的常见3D-CNN模型高约1.5到2个百分点比带全局注意力的普通Transformer高约0.6到1.2个百分点平均类别精度和Kappa系数也有同步提升。最典型的一个现象是精度提升主要出现在边界像素和混合像元上而大面积均质区域的分类正确率两个模型几乎持平。这说明动态路由带来的不是“全面平均高一点”而是定向补齐了固定路径模型的短板——空间上下文敏感的样本得到了该有的额外计算资源。4.2 消融实验到底谁在起作用我们在三个问题上做了消融第一如果所有patch都只走光谱专家第二全都走空间专家第三按固定比例50%光谱、50%空间混合但不做动态路由。结果很有参考意义。只走光谱专家均质区域表现很好但边界像素错误明显增多只走空间专家边界像素有改善但对光谱差异极小的类别容易过平滑。固定比例混合介于两者中间OA比动态路由低约0.4到0.6个百分点。这个差距告诉我们动态路由的价值不是简单把两类特征都算一遍而是“按需分配”——把计算资源花在当前样本最需要的那条路径上。固定混合本质上还是僵硬的均匀策略信息量虽全但有效性打折。我们还做了一组“替身”实验保留路由网络但把专家输出替换成随机噪声。结果精度崩得非常厉害。这排除了一个质疑——LGEST的提升是不是主要来自路由网络本身复杂的决策不是专家的特征质量依然是根本路由只是把好钢用在刀刃上。4.3 计算效率的数据动态路由听上去很“重”实际算下来反而轻。我们把LGEST和同参数量的稠密Transformer做对比因为每个patch只激活两个专家即使算上路由网络和门控融合的额外开销单样本推理的浮点运算总量仍低约30%显存占用低约20%。训练时间反而下降约15%因为大部分梯度只回传到被激活的专家路径上未被激活专家的参数既不参与前向也不参与反向省掉了一大批无效计算。当然这个收益是建立在batch较小时测得的。如果batch非常大路由部分的统计操作和专家容量计数会带来额外的通信开销收益会摊薄。这里想说MoE类模型在小batch训练时优势更明显但需要配合梯度累积使用。这里有一个很实用的数据增强技巧高光谱patch在做随机水平翻转、竖直翻转和旋转的同时还可以做“光谱方向翻转”——把波段顺序倒过来训练。因为地物的光谱吸收特征并不依赖波段从哪头开始读取适当加入这种增强能提高路由网络对波段顺序的鲁棒性。我们实验里加了光谱翻转后路由决策在测试集上的稳定性明显提升OA涨了约0.3个百分点。这个技巧在很多光谱任务里通用值得试。5. 复现LGEST过程中的坑和调参笔记5.1 负载均衡loss的权重灵敏度这是我在复现过程里踩得最深的一个坑。负载均衡loss的权重系数不是越大越好甚至不是一个“慢慢调大”的过程。我们最初直接把全局权重设为0.1结果OA直接掉了一个百分点还多。原因在于负载均衡loss和交叉熵分类loss在损失空间里是互相拉扯的前者逼路由网络均匀选择专家后者逼它按正确分类需求选择专家这两者本质上存在对立。权重超过一定阈值后路由网络会为了降低辅助损失而牺牲分类性能把所有专家的选择比例压得过平。我们网格搜索了从0.001到0.1的范围结论是在0.005到0.02之间表现最好默认0.01但这个值会随专家数量变化专家多或样本类别不均衡严重时可能需要适当回调。5.2 小batch下路由波动很剧烈另一个实践教训batch size如果太小路由统计非常不稳定。10个样本里的选择比例说明不了任何问题往往这个batch全部冲向光谱专家下一个batch又全部冲向空间专家模型参数被拉扯得来回震荡训练非常痛苦。解决办法是开大batch或者用梯度累积模拟大batch。我们在20个类别的小数据集上实验真实batch size从32提到128时训练收敛速度和最终精度都有明显改善。如果显存卡在batch size上限梯度累积步数建议对齐到目标batch size约96到128。这样负载均衡loss算出来的统计分布才比较可靠专家容量的分配也更有意义。5.3 推理阶段要不要保持动态训练完成后在部署阶段遇到过一个问题同一个patch每次推理如果模型有Dropout或被随机扰动影响路由决策会出现轻微抖动。虽然概率不高但对parse精度要求严格的场景来说不理想。我们的做法是转成静态路由训练结束后在验证集上统计每个patch的路由分数分布用聚类或阈值把每个样本的专家选择固定下来推理时不再走路由网络直接按预设路径。这个操作能再减少约10%的推理耗时但代价是OA可能下降0.2个百分点左右。如果精度余量充足这是一个不错的工程取舍。如果精度本来就在边缘线建议保持动态路由另用固定随机种子保证推理稳定即可。5.4 依托LGEST做蒸馏压缩LGEST虽然计算量已经比较理想但在嵌入式设备上跑还是有压力。我们实测过一条“蒸馏压缩”的路径把LGEST当教师模型把知识蒸馏到一个单专家轻量模型上学生模型结构等于只保留混合专家里的一个精简分支。蒸馏损失采用特征对齐加软化标签的组合训练温度设为4。结果显示学生模型能保留教师模型95%到97%的精度而参数量降到教师模型的一半以下。这个方法特别适合那种需要大规模部署、每个地物像素都要实时分类的场景。如果你恰好有服务端动态分配的算力LGEST本身已经够轻量。5.5 关于超参的最终建议一句话总结我们的配置patch尺寸11×11波段压缩到48维专家4个Top-2激活容量因子1.25负载均衡权重0.01AdamW优化器初始学习率5e-4200个epoch配合余弦退火到1e-5权重衰减5e-2。梯度累积到batch size 128。这组参数在我们自己的数据和公开数据上表现都稳定推荐作为你的基线。实际项目里最值得花时间调的不是网络层数而是专家数量、容量因子和路由分数的特征设计。这三个是LGEST区别于普通Transformer的核心变量也是精度和计算量的真正杠杆。最后再说一点个人体会。在实际做这个项目之前我也认为分类问题只要模型够大、数据够多就能解决。但高光谱数据的特殊性在于它的特征高度结构化不同样本对特征的实际需求差别很大一刀切的特征提取路径上限就摆在那里。LGEST最打动我的不是那一两个百分点的精度提升而是它让模型第一次“会挑重点”了——该看光谱的时候看光谱该看周围的时候看周围不再做无用功。如果你也想在类似任务里试动态路由我的建议是从最小配置开始两个专家、Top-1路由、不加负载均衡loss先跑通再看问题出在哪然后逐步加容量限制、加均衡机制、加专家数量。很多坑不是靠预测能避开的但踩过一次以后你对模型的直觉会比之前准很多。