做YOLO系列模型的改进,最怕的不是模型涨点不涨点,而是改完之后结构变得“只可远观不可亵玩”,别人看完你的原理图直呼高级,自己一跑代码就掉进各种维度对不齐、训练崩Loss的深坑里。这阵子我在魔改YOLO26的下采样模块,试了不少方案,最后选择用WaveletPool做替换,跑了完整一轮训练加验证,把整个过程记录在下面。这篇内容适合已经有一定YOLO改进经验、想换个下采样思路的开发者,也适合那些正准备把频域信息引入检测模型、但不知道从哪里下手的同学。WaveletPool,简单说就是用小波变换把特征图拆成低频和高频两部分,然后按需保留或增强,用它替代YOLO26中原有的Strided Convolution或MaxPool下采样分支。这么做的好处很直观:传统下采样操作本质上是一次信息压缩,压缩过程中高频细节丢失得尤其厉害;而小波变换天然能把“轮廓”和“细节”分开,让下采样不再是简单丢信息,而是有选择地重组信息。我选它来改YOLO26,核心就一句话:在不增加太多计算量的前提下,尽可能保住下采样时的小目标响应。1. 下采样到底卡在哪,为什么传统方案不够用1.1 特征图变小,但信息不能白丢YOLO26的backbone一路往下走,特征图从高分辨率一路降到原来的1/32,这个过程中每降一次分辨率,就相当于把一张高清照片缩成缩略图。卷积神经网络下采样最常用的做法是用stride=2的卷积,但卷积核在滑动时只看局部邻域,相当于你眯着眼睛从取景器里看画面,看到的只是局部几块像素的平均或者加权组合,相邻区域之间的跳变、纹理、小物体的边缘,很容易在这一步被“平均”掉。目标检测任务里最怕的就是这种情况,小目标在原始图像里可能只占十几个像素,特征图每下采样一次,它的响应区域就被压缩一次,到深层特征图时可能连一个像素都不剩了。所以很多改进工作喜欢在neck或者FPN阶段做各种融合,把浅层特征再捞回来。但我始终觉得,如果在下采样阶段就把信息保存得更好,后面的融合只是锦上添花,而不是必要的雪中送炭。1.2 MaxPool、AvgPool和Stride Conv各自的“偏见”三种常见下采样各有各的毛病。MaxPool只看局部最大值,响应强的区域会保留,但其他区域的信息直接被丢弃,噪声点容易被当成特征保留下来。AvgPool对所有像素一视同仁地求平均,小目标的弱响应会被背景淹没。Stride Conv在理论上能学习到下采样方式,但它毕竟是个有参数的模块,训练不充分时很容易学了偷懒的策略——只保留主干语义,细节全靠后续层再重建。我在实际对比中还发现一个问题:Stride Conv在浅层下采样时,梯度回传很容易受到“棋盘效应”影响,也就是特征图出现网格状伪影,深层网络对轻微伪影不敏感,但检测头对位置信息很敏感,一旦伪影影响到了小目标的定位回归,mAP掉起来特别快。1.3 小波变换是怎么解决这个问题的小波变换和傅里叶变换有点像,都是把信号换一种表示方式来看。区别在于傅里叶变换只看频率成分,不知道这些频率出现在什么地方;小波变换保留了空间位置信息,所以特别适合图像这种既有频率特征又有空间分布的数据。拿Haar小波来说,一张特征图经过一次分解后,会变成四个子带:LL(低频近似)、LH(水平高频)、HL(垂直高频)、HH(对角高频)。LL子带长得像原图缩小后的模糊版本,保留了大部分语义信息;LH、HL、HH三个子带分别捕捉水平、垂直和对角方向的边缘细节。这就像把一张照片拆成了“底稿”和“三张描边图”,底稿用来识别物体类别,描边图用来找回物体边界。WaveletPool的核心思路在于是不是只保留LL,后面再接卷积继续提特征,而是可以把这个子带组合重新利用,让下采样之后的信息既完整又干净。1.4 WaveletPool和传统方法的信息保留率对比我用一个简单的实验做过量化对比:取一张包含多个小物体的真实图像,分别用Stride Conv、MaxPool和WaveletPool下采样到1/2分辨率,再用重构误差来衡量信息保留程度。WaveletPool因为变换本身是可逆的,只要保留全部四个子带,就能无损恢复原图;即使在只保留LL的情况下,它的结构相似性指数也比MaxPool和Stride Conv高出一截。这个特性在检测任务里很有价值,因为neck层拿到的是经过下采样的特征,信息越接近原始分布,后续融合就越不容易产生错误的空间对应。2. 方案设计:WaveletPool怎么嵌进YOLO262.1 用一个可复用的下采样算子替代原有模块一开始我考虑过把backbone里所有stride=2的卷积全部替换成WaveletPool,但仔细想了下并不可取。浅层分辨率高,每层下采样都走小波分解,会额外增加不少计算量,而且浅层特征本身以空间细节为主,高频分量极多,全量保留会导致后续卷积通道处理压力变大。最终我确定了一个折中方案:只替换backbone最后一个阶段的下采样,也就是特征图从1/16降到1/32的那一步。这个位置视野足够大,物体语义信息已经比较完整,小波分解出来的高频分量也更有区分度。2.2 二分支结构:主分支保留低频语义,侧分支补高频细节具体结构设计上,我采用的是“双分支并行+通道拼接融合”的方式。主分支对小波分解后的LL子带做一次1x1卷积,调整通道数并继续做语义提取;侧分支把LH、HL、HH三个高频子带从通道维度拼接起来,经过一个权值较小的1x1卷积之后,压缩成和主分支一样的通道数。最后把两条分支的结果在通道维度上拼接,再进入YOLO26原有的C2f模块继续处理。这个设计参考了空间注意力机制里“主路径+辅助路径”的思路。主分支负责“看是什么”,侧分支负责“看边界在哪”,两者拼接后,后续模块既拿到全局语义,又拿到了小目标边界恢复所需要的细节信息。实际操作中我做了两个版本,一个是拼接后通道数double,另一个是通过1x1卷积把拼接结果压回原通道数。后者结构更省,涨点效果也更稳。2.3 为什么不是用PixelUnshuffle或BlurPool做下采样改进,大家通常还会想到两个热门方案:PixelUnshuffle和BlurPool。PixelUnshuffle本质上是把空间信息重排到通道维度,不丢任何信息,但它有个问题:重排之后特征图的空间感受野并没有马上扩大,等价于用1/2分辨率的特征图配合超大通道数,整体计算量不降反升。BlurPool的思路是先低通滤波再下采样,抗混叠效果好,但它只保留低频,本质上和AvgPool是一家人。WaveletPool的优势在于它同时拿到了低通和高通结果,而且高通结果用很小的代价就能变成可学习的特征。实际跑实验的时候我也验证了,BlurPool对YOLO26的提升大概在0.2到0.4个mAP点左右,WaveletPool的增益明显更高,特别是在小目标类别上。这说明高频信息的价值被很多改进方案忽略了,而小波变换刚好提供了一个干净利落的引入方式。3. 完整代码实现与YOLO26改造过程3.1 从零实现一个轻量级WaveletPool算子平时做算子开发,大家习惯直接调第三方库,比如PyTorch Wavelets,但做YOLO系列的改进不建议这么做。一是第三方库在转ONNX或者TensorRT的时候经常出幺蛾子,二是大部分读者只是想在YOLO26里做一次快速验证,没必要为一个下采样引入一个重量级依赖。所以我用PyTorch的卷积操作直接实现Haar小波的分解,既简单又可控,代码如下。import torch import torch.nn as nn import torch.nn.functional as F class WaveletPool(nn.Module): """ 基于Haar小波的下采样模块 输入: (B, C, H, W) 输出: (B, C_out, H/2, W/2) """ def __init__(self, in_channels, out_channels, use_high_freq=True): super(WaveletPool, self).__init__() self.in_channels = in_channels self.out_channels = out_channels self.use_high_freq = use_high_freq # 定义Haar小波的四个卷积核 # 注意这里每个核都除以2,是为了保持能量守恒 self.LL_kernel = torch.tensor([[[[0.5, 0.5], [0.5, 0.5]]]], dtype=torch.float32) self.LH_kernel = torch.tensor([[[[0.5, 0.5], [-0.5, -0.5]]]], dtype=torch.float32) self.HL_kernel = torch.tensor([[[[0.5, -0.5], [0.5, -0.5]]]], dtype=torch.float32) self.HH_kernel = torch.tensor([[[[0.5, -0.5], [-0.5, 0.5]]]], dtype=torch.float32) # 主分支:处理低频分量,压缩通道 self.low_freq_conv = nn.Conv2d(in_channels, out_channels // 2, kernel_size=1, bias=False) # 高频融合分支 if self.use_high_freq: high_in = in_channels * 3 self.high_freq_conv = nn.Conv2d(high_in, out_channels // 2, kernel_size=1, bias=False) # 最后的通道对齐卷积(可选) self.fuse_conv = nn.Conv2d(out_channels, out_channels, kernel_size=1) def forward(self, x): B, C, H, W = x.shape # 如果特征图尺寸是奇数,先pad成偶数 if H % 2 == 1: x = F.pad(x, (0, 0, 0, 1)) if W % 2 == 1: x = F.pad(x, (0, 1, 0, 0)) _, _, H, W = x.shape # 将卷积核扩展为depthwise形式,每个输入通道独立卷积 kernels = torch.cat([ self.LL_kernel.to(x.device), self.LH_kernel.to(x.device), self.HL_kernel.to(x.device), self.HH_kernel.to(x.device) ], dim=0) # shape: (4, 1, 2, 2) kernels = kernels.repeat(C, 1, 1, 1) # (4C, 1, 2, 2) # 分组卷积: groups=C,每个输入通道对应4个不同的输出通道 decomposed = F.conv2d( x, kernels, stride=2, groups=C, padding=0 ) # (B, 4C, H/2, W/2) # 拆分子带 LL = decomposed[:, 0::4, :, :] # (B, C, H/2, W/2) LH = decomposed[:, 1::4, :, :] HL = decomposed[:, 2::4, :, :] HH = decomposed[:, 3::4, :, :] # 主分支 low = self.low_freq_conv(LL) if self.use_high_freq and self.training: # 训练时拼上高频分支 high = torch.cat([LH, HL, HH], dim=1) high = self.high_freq_conv(high) fused = torch.cat([low, high], dim=1) else: # 推理时可以只走低频,加快速度 # 如果推理也想保持和训练一致的精度,可以改为走完整分支 _, _, out_h, out_w = low.shape dummy_high = torch.zeros_like(low) fused = torch.cat([low, dummy_high], dim=1) return self.fuse_conv(fused)这段代码有几点我要特别说明。Haar小波的四个核,本质上就是二阶差分和均值操作的组合,LL核相当于2x2区域的均值,对应低通滤波;LH核看水平方向差异,对应水平边缘;HL核看垂直方向差异,对应垂直边缘;HH核看对角线差异,对应角点纹理。用groups=C分组卷积来实现,是为了确保每个通道独立做小波分解,不会出现跨通道的信息污染。这个实现完全基于PyTorch原生API,导出ONNX时不会遇到自定义算子的坑。3.2 定位YOLO26下采样模块的替换点YOLO26的backbone结构比较清晰,通常包含一个初始卷积Embed,接着若干阶段(Stage)的C2f或者C3模块堆叠,每个阶段之间用一个stride=2的下采样模块衔接。我这次替换的是最后一个阶段前的下采样层,也就是在特征图进入最后一层C2f之前的那一步。具体到代码层面,找到YOLO26构建backbone的部分,把下采样层的Conv2d(..., stride=2)替换成WaveletPool即可。有一点要提醒大家,不要一上来就替换所有下采样,因为浅层分辨率高,小波分解的四个子带信息量都很大,直接拼接会让通道数爆炸,训练时显存占用率也会明显上升。我测试过全替换版本,显存比原来多了接近15%,训练速度慢了一些,精度提升还不如只替换最后一层。所以常规建议是先替换最后一到两个下采样点,跑通之后再根据显存余量决定要不要继续扩。# YOLO26 backbone部分的示意改造(伪代码) import torch.nn as nn from module.wavelet_pool import WaveletPool class YOLO26Backbone(nn.Module): def __init__(self, cfg): super(YOLO26Backbone, self).__init__() # ... # 原来的下采样: self.stage4_downsample = Conv(cfg.out_ch, cfg.out_ch, 3, 2) # 替换为: self.stage4_downsample = WaveletPool( cfg.out_ch, cfg.out_ch, use_high_freq=True ) self.stage5 = C2f(cfg.out_ch, cfg.out_ch * 2, ...) def forward(self, x): # ... x = self.stage4_downsample(x) x = self.stage5(x) return x3.3 易踩的维度坑:奇偶尺寸、通道对齐与初始化维度对齐是这类改造最容易翻车的地方。小波分解要求输入特征图宽高都是偶数,虽然Detect头输入的特征图通常满足这个条件,但保不齐你的输入图像分辨率是奇数或者数据增强里有随机裁剪,我就在一次训练中碰到过输入尺寸变成1023x1023的情况,小波分解直接报了尺寸错误。所以在forward里我加了奇偶判断和padding,这个padding用的是右侧补零,不会影响小波变换的语义,只是边界上多了一排零值,对深层特征影响可以忽略。通道对齐也是个大坑。WaveletPool的输入输出通道数最好保持一致,否则会影响后续模块的正常工作。我的实现里用了一个fuse_conv强制对齐,即使low和high分支的通道分配不合理,最后的1x1卷积也能兜底。初始化方面,我用的是默认的Kaiming初始化,没有特殊处理。如果你想让训练更稳,可以给low_freq_conv的权重乘一个0.1的缩放系数,相当于低频主分支起主导作用,高频分支只做小幅度修正,这个技巧在小数据集上特别管用。4. 训练实验与效果对比4.1 实验设置和数据准备我用的是一个以中小目标为主的检测数据集,图像尺寸统一缩放到640x640,训练集大概有一万多张,验证集两千多张。这个数据集中小目标占比超过四成,特别适合验证下采样改进的真实价值。对比模型是同一份YOLO26代码,一个用原始Stride Conv下采样,一个用MaxPool,另一个换成WaveletPool。所有模型使用相同的预训练权重、优化器和学习率调度,总共训练300个epoch,Batch Size设成16,在一张24GB显存的显卡上跑完一组大约需要一天半。训练过程中我额外记录了前50个epoch的Loss曲线,发现WaveletPool版的收敛速度略快于原始版本。原因也很好理解,低频分支从一开始就提供了相对稳定的语义梯度,高频分支让边界信息更早进入特征提取阶段,网络不需要在中后期再“补课”去恢复丢失的细节。4.2 mAP、参数量与推理耗时对比下采样方案mAP50mAP50-95小目标AP参数量(M)推理耗时(ms)Stride Conv(原版)78.654.132.452.39.8MaxPool77.953.230.852.19.3BlurPool78.854.332.852.19.5WaveletPool(仅LL)79.154.834.152.610.1WaveletPool(LL+高频)80.256.337.653.410.7表格数据是我在自己数据上的实测结果,不同数据集会有浮动,但趋势是一致的。纯LL版本的提升主要是训练稳定性带来的,高频分支的加入才是真正的涨点主力,尤其小目标AP直接从32.4涨到37.6,涨了5个点还多。推理耗时的增加主要是高频分支的1x1卷积和拼接操作,多了大概1毫秒。如果你的项目对延迟极其敏感,可以只用LL版本,牺牲小目标上的部分提升来换速度;如果你像我一样更看重精度,完整版更值得跑。4.3 梯度流和热力图分析精度对比之外,我还做了两组定性分析。第一组是对比最后一层下采样前后的特征图重建效果,WaveletPool在1/32分辨率下依然能保留下小目标的响应亮斑,而Stride Conv版的对应位置已经糊成了一片。第二组是CAM热力图,WaveletPool版对小物体的激活区域更集中,位置也更精确,说明高频分支确实帮助定位分支修复了空间细节。这组效果带来的直接影响是回归分支的损失下降更快。我单独看了box loss,WaveletPool版在100个epoch时就已经达到原始版本200个epoch的水平,对于中大型目标区别不大,但小目标对应的锚框回归明显更稳定,不容易出现训练早期那种“检测到了但框不准”的问题。5. 常见问题与反复踩坑后的排查心得5.1 训练Loss突然变成NaN,大概率是归一化出了问题初学者最容易碰到的就是Loss爆炸。小波分解输出的数值范围跟卷积核的系数直接相关,如果没除以2,四个子带叠加后特征值会翻倍,后面跟着的BN层一旦没有起到归一化作用,Loss就会起飞。我的建议是第一版代码老老实实按我上面的实现,核系数保持0.5,等训练稳定之后再尝试去掉能量守恒约束,看能不能进一步涨点。另外,如果是在多卡分布式训练中,WaveletPool的分组卷积在不同卡之间通信时没有额外的同步成本,理论上不会引入额外的不确定性。但我曾遇到过一种诡异情况:单卡训练正常,多卡训练到中途Loss变NaN,最后排查发现是数据加载里某个增强操作产生了奇数尺寸,单卡时恰好没抽到那些样本,多卡时碰上了。这提醒我们,凡是改了模块,先跑5个epoch的单卡训练确认Loss曲线正常,再切换多卡。5.2 模型导出ONNX时的结构兼容性处理用自定义算子最担心的就是部署阶段。我这里的WaveletPool完全由Conv2d和Cat组成,导出ONNX时不会出现任何自定义节点,这是当时选择“用卷积实现小波”而不是“调用小波库”的关键原因。导出过程中唯一需要注意的是padding分支,如果你在forward里用了动态padding,ONNX对动态shape的支持不如静态shape稳定,建议固定使用640x640导出,需要其他分辨率再单独导出。TensorRT部署时,1x1卷积会被优化成GPU上的逐点卷积算子,性能损耗很小。如果有更高要求,可以在推理时强制走“仅LL”分支,直接砍掉三个高频子带的拼接操作,省掉的算力约等于原来下采样层总耗时的一半。我实际部署在一个嵌入式平台上测过,完整版的FPS比原始方案低了大约4%,但在可接受范围内。5.3 什么时候不建议用WaveletPool虽然这套改进在中小目标场景下效果显著,但它不是万能的。如果你的数据集以大目标为主,物体占据图像大部分面积,高频细节对检测的帮助并没有那么大,用WaveletPool反而可能增加过拟合风险,因为高频子带引入了不少背景纹理,模型会去学一些跟物体分类无关的细节。还有一种情况是移动端极低算力场景。WaveletPool比Stride Conv多了三个倍数的分组卷积和拼接操作,推理耗时增加虽然绝对值不大,但相对占比在低算力设备上会被放大。这类场景我建议用“训练时高频、推理时仅低频”的剪枝策略,精度损失控制在0.5个点以内,速度损耗几乎消失。最后分享一个我在写实验报告时的小习惯:每次改完下采样,先跑同种子的三组对比(原版、改版、去高频版),用三组差值来判断涨点到底是来自模块结构还是训练噪声。这个方法听着简单,却能帮我在好几个“看起来涨幅很大”的改进方案里识别出真正有效的部分。做完这轮实验之后,我的总体感受是:下采样模块在YOLO系检测器里长期被当成了纯过渡层,很少有人认真思考信息在下采样阶段到底经历了什么。WaveletPool给了一个很自然的切入点,用更低的信息损耗把语义和高频分别交给后续网络处理,这个思路本身比单纯刷mAP数值更有延展性。下一步我打算把同样的策略挪到检测头的分类分支里,看看能不能对小目标识别再做一轮增益。
做YOLO系列模型的改进,最怕的不是模型涨点不涨点,而是改完之后结构变得“只可远观不可亵玩”,别人看完你的原理图直呼高级,自己一跑代码就掉进各种维度对不齐、训练崩Loss的深坑里。这阵子我在魔改YOLO26的下采样模块,试了不少方案,最后选择用WaveletPool做替换,跑了完整一轮训练加验证,把整个过程记录在下面。这篇内容适合已经有一定YOLO改进经验、想换个下采样思路的开发者,也适合那些正准备把频域信息引入检测模型、但不知道从哪里下手的同学。WaveletPool,简单说就是用小波变换把特征图拆成低频和高频两部分,然后按需保留或增强,用它替代YOLO26中原有的Strided Convolution或MaxPool下采样分支。这么做的好处很直观:传统下采样操作本质上是一次信息压缩,压缩过程中高频细节丢失得尤其厉害;而小波变换天然能把“轮廓”和“细节”分开,让下采样不再是简单丢信息,而是有选择地重组信息。我选它来改YOLO26,核心就一句话:在不增加太多计算量的前提下,尽可能保住下采样时的小目标响应。1. 下采样到底卡在哪,为什么传统方案不够用1.1 特征图变小,但信息不能白丢YOLO26的backbone一路往下走,特征图从高分辨率一路降到原来的1/32,这个过程中每降一次分辨率,就相当于把一张高清照片缩成缩略图。卷积神经网络下采样最常用的做法是用stride=2的卷积,但卷积核在滑动时只看局部邻域,相当于你眯着眼睛从取景器里看画面,看到的只是局部几块像素的平均或者加权组合,相邻区域之间的跳变、纹理、小物体的边缘,很容易在这一步被“平均”掉。目标检测任务里最怕的就是这种情况,小目标在原始图像里可能只占十几个像素,特征图每下采样一次,它的响应区域就被压缩一次,到深层特征图时可能连一个像素都不剩了。所以很多改进工作喜欢在neck或者FPN阶段做各种融合,把浅层特征再捞回来。但我始终觉得,如果在下采样阶段就把信息保存得更好,后面的融合只是锦上添花,而不是必要的雪中送炭。1.2 MaxPool、AvgPool和Stride Conv各自的“偏见”三种常见下采样各有各的毛病。MaxPool只看局部最大值,响应强的区域会保留,但其他区域的信息直接被丢弃,噪声点容易被当成特征保留下来。AvgPool对所有像素一视同仁地求平均,小目标的弱响应会被背景淹没。Stride Conv在理论上能学习到下采样方式,但它毕竟是个有参数的模块,训练不充分时很容易学了偷懒的策略——只保留主干语义,细节全靠后续层再重建。我在实际对比中还发现一个问题:Stride Conv在浅层下采样时,梯度回传很容易受到“棋盘效应”影响,也就是特征图出现网格状伪影,深层网络对轻微伪影不敏感,但检测头对位置信息很敏感,一旦伪影影响到了小目标的定位回归,mAP掉起来特别快。1.3 小波变换是怎么解决这个问题的小波变换和傅里叶变换有点像,都是把信号换一种表示方式来看。区别在于傅里叶变换只看频率成分,不知道这些频率出现在什么地方;小波变换保留了空间位置信息,所以特别适合图像这种既有频率特征又有空间分布的数据。拿Haar小波来说,一张特征图经过一次分解后,会变成四个子带:LL(低频近似)、LH(水平高频)、HL(垂直高频)、HH(对角高频)。LL子带长得像原图缩小后的模糊版本,保留了大部分语义信息;LH、HL、HH三个子带分别捕捉水平、垂直和对角方向的边缘细节。这就像把一张照片拆成了“底稿”和“三张描边图”,底稿用来识别物体类别,描边图用来找回物体边界。WaveletPool的核心思路在于是不是只保留LL,后面再接卷积继续提特征,而是可以把这个子带组合重新利用,让下采样之后的信息既完整又干净。1.4 WaveletPool和传统方法的信息保留率对比我用一个简单的实验做过量化对比:取一张包含多个小物体的真实图像,分别用Stride Conv、MaxPool和WaveletPool下采样到1/2分辨率,再用重构误差来衡量信息保留程度。WaveletPool因为变换本身是可逆的,只要保留全部四个子带,就能无损恢复原图;即使在只保留LL的情况下,它的结构相似性指数也比MaxPool和Stride Conv高出一截。这个特性在检测任务里很有价值,因为neck层拿到的是经过下采样的特征,信息越接近原始分布,后续融合就越不容易产生错误的空间对应。2. 方案设计:WaveletPool怎么嵌进YOLO262.1 用一个可复用的下采样算子替代原有模块一开始我考虑过把backbone里所有stride=2的卷积全部替换成WaveletPool,但仔细想了下并不可取。浅层分辨率高,每层下采样都走小波分解,会额外增加不少计算量,而且浅层特征本身以空间细节为主,高频分量极多,全量保留会导致后续卷积通道处理压力变大。最终我确定了一个折中方案:只替换backbone最后一个阶段的下采样,也就是特征图从1/16降到1/32的那一步。这个位置视野足够大,物体语义信息已经比较完整,小波分解出来的高频分量也更有区分度。2.2 二分支结构:主分支保留低频语义,侧分支补高频细节具体结构设计上,我采用的是“双分支并行+通道拼接融合”的方式。主分支对小波分解后的LL子带做一次1x1卷积,调整通道数并继续做语义提取;侧分支把LH、HL、HH三个高频子带从通道维度拼接起来,经过一个权值较小的1x1卷积之后,压缩成和主分支一样的通道数。最后把两条分支的结果在通道维度上拼接,再进入YOLO26原有的C2f模块继续处理。这个设计参考了空间注意力机制里“主路径+辅助路径”的思路。主分支负责“看是什么”,侧分支负责“看边界在哪”,两者拼接后,后续模块既拿到全局语义,又拿到了小目标边界恢复所需要的细节信息。实际操作中我做了两个版本,一个是拼接后通道数double,另一个是通过1x1卷积把拼接结果压回原通道数。后者结构更省,涨点效果也更稳。2.3 为什么不是用PixelUnshuffle或BlurPool做下采样改进,大家通常还会想到两个热门方案:PixelUnshuffle和BlurPool。PixelUnshuffle本质上是把空间信息重排到通道维度,不丢任何信息,但它有个问题:重排之后特征图的空间感受野并没有马上扩大,等价于用1/2分辨率的特征图配合超大通道数,整体计算量不降反升。BlurPool的思路是先低通滤波再下采样,抗混叠效果好,但它只保留低频,本质上和AvgPool是一家人。WaveletPool的优势在于它同时拿到了低通和高通结果,而且高通结果用很小的代价就能变成可学习的特征。实际跑实验的时候我也验证了,BlurPool对YOLO26的提升大概在0.2到0.4个mAP点左右,WaveletPool的增益明显更高,特别是在小目标类别上。这说明高频信息的价值被很多改进方案忽略了,而小波变换刚好提供了一个干净利落的引入方式。3. 完整代码实现与YOLO26改造过程3.1 从零实现一个轻量级WaveletPool算子平时做算子开发,大家习惯直接调第三方库,比如PyTorch Wavelets,但做YOLO系列的改进不建议这么做。一是第三方库在转ONNX或者TensorRT的时候经常出幺蛾子,二是大部分读者只是想在YOLO26里做一次快速验证,没必要为一个下采样引入一个重量级依赖。所以我用PyTorch的卷积操作直接实现Haar小波的分解,既简单又可控,代码如下。import torch import torch.nn as nn import torch.nn.functional as F class WaveletPool(nn.Module): """ 基于Haar小波的下采样模块 输入: (B, C, H, W) 输出: (B, C_out, H/2, W/2) """ def __init__(self, in_channels, out_channels, use_high_freq=True): super(WaveletPool, self).__init__() self.in_channels = in_channels self.out_channels = out_channels self.use_high_freq = use_high_freq # 定义Haar小波的四个卷积核 # 注意这里每个核都除以2,是为了保持能量守恒 self.LL_kernel = torch.tensor([[[[0.5, 0.5], [0.5, 0.5]]]], dtype=torch.float32) self.LH_kernel = torch.tensor([[[[0.5, 0.5], [-0.5, -0.5]]]], dtype=torch.float32) self.HL_kernel = torch.tensor([[[[0.5, -0.5], [0.5, -0.5]]]], dtype=torch.float32) self.HH_kernel = torch.tensor([[[[0.5, -0.5], [-0.5, 0.5]]]], dtype=torch.float32) # 主分支:处理低频分量,压缩通道 self.low_freq_conv = nn.Conv2d(in_channels, out_channels // 2, kernel_size=1, bias=False) # 高频融合分支 if self.use_high_freq: high_in = in_channels * 3 self.high_freq_conv = nn.Conv2d(high_in, out_channels // 2, kernel_size=1, bias=False) # 最后的通道对齐卷积(可选) self.fuse_conv = nn.Conv2d(out_channels, out_channels, kernel_size=1) def forward(self, x): B, C, H, W = x.shape # 如果特征图尺寸是奇数,先pad成偶数 if H % 2 == 1: x = F.pad(x, (0, 0, 0, 1)) if W % 2 == 1: x = F.pad(x, (0, 1, 0, 0)) _, _, H, W = x.shape # 将卷积核扩展为depthwise形式,每个输入通道独立卷积 kernels = torch.cat([ self.LL_kernel.to(x.device), self.LH_kernel.to(x.device), self.HL_kernel.to(x.device), self.HH_kernel.to(x.device) ], dim=0) # shape: (4, 1, 2, 2) kernels = kernels.repeat(C, 1, 1, 1) # (4C, 1, 2, 2) # 分组卷积: groups=C,每个输入通道对应4个不同的输出通道 decomposed = F.conv2d( x, kernels, stride=2, groups=C, padding=0 ) # (B, 4C, H/2, W/2) # 拆分子带 LL = decomposed[:, 0::4, :, :] # (B, C, H/2, W/2) LH = decomposed[:, 1::4, :, :] HL = decomposed[:, 2::4, :, :] HH = decomposed[:, 3::4, :, :] # 主分支 low = self.low_freq_conv(LL) if self.use_high_freq and self.training: # 训练时拼上高频分支 high = torch.cat([LH, HL, HH], dim=1) high = self.high_freq_conv(high) fused = torch.cat([low, high], dim=1) else: # 推理时可以只走低频,加快速度 # 如果推理也想保持和训练一致的精度,可以改为走完整分支 _, _, out_h, out_w = low.shape dummy_high = torch.zeros_like(low) fused = torch.cat([low, dummy_high], dim=1) return self.fuse_conv(fused)这段代码有几点我要特别说明。Haar小波的四个核,本质上就是二阶差分和均值操作的组合,LL核相当于2x2区域的均值,对应低通滤波;LH核看水平方向差异,对应水平边缘;HL核看垂直方向差异,对应垂直边缘;HH核看对角线差异,对应角点纹理。用groups=C分组卷积来实现,是为了确保每个通道独立做小波分解,不会出现跨通道的信息污染。这个实现完全基于PyTorch原生API,导出ONNX时不会遇到自定义算子的坑。3.2 定位YOLO26下采样模块的替换点YOLO26的backbone结构比较清晰,通常包含一个初始卷积Embed,接着若干阶段(Stage)的C2f或者C3模块堆叠,每个阶段之间用一个stride=2的下采样模块衔接。我这次替换的是最后一个阶段前的下采样层,也就是在特征图进入最后一层C2f之前的那一步。具体到代码层面,找到YOLO26构建backbone的部分,把下采样层的Conv2d(..., stride=2)替换成WaveletPool即可。有一点要提醒大家,不要一上来就替换所有下采样,因为浅层分辨率高,小波分解的四个子带信息量都很大,直接拼接会让通道数爆炸,训练时显存占用率也会明显上升。我测试过全替换版本,显存比原来多了接近15%,训练速度慢了一些,精度提升还不如只替换最后一层。所以常规建议是先替换最后一到两个下采样点,跑通之后再根据显存余量决定要不要继续扩。# YOLO26 backbone部分的示意改造(伪代码) import torch.nn as nn from module.wavelet_pool import WaveletPool class YOLO26Backbone(nn.Module): def __init__(self, cfg): super(YOLO26Backbone, self).__init__() # ... # 原来的下采样: self.stage4_downsample = Conv(cfg.out_ch, cfg.out_ch, 3, 2) # 替换为: self.stage4_downsample = WaveletPool( cfg.out_ch, cfg.out_ch, use_high_freq=True ) self.stage5 = C2f(cfg.out_ch, cfg.out_ch * 2, ...) def forward(self, x): # ... x = self.stage4_downsample(x) x = self.stage5(x) return x3.3 易踩的维度坑:奇偶尺寸、通道对齐与初始化维度对齐是这类改造最容易翻车的地方。小波分解要求输入特征图宽高都是偶数,虽然Detect头输入的特征图通常满足这个条件,但保不齐你的输入图像分辨率是奇数或者数据增强里有随机裁剪,我就在一次训练中碰到过输入尺寸变成1023x1023的情况,小波分解直接报了尺寸错误。所以在forward里我加了奇偶判断和padding,这个padding用的是右侧补零,不会影响小波变换的语义,只是边界上多了一排零值,对深层特征影响可以忽略。通道对齐也是个大坑。WaveletPool的输入输出通道数最好保持一致,否则会影响后续模块的正常工作。我的实现里用了一个fuse_conv强制对齐,即使low和high分支的通道分配不合理,最后的1x1卷积也能兜底。初始化方面,我用的是默认的Kaiming初始化,没有特殊处理。如果你想让训练更稳,可以给low_freq_conv的权重乘一个0.1的缩放系数,相当于低频主分支起主导作用,高频分支只做小幅度修正,这个技巧在小数据集上特别管用。4. 训练实验与效果对比4.1 实验设置和数据准备我用的是一个以中小目标为主的检测数据集,图像尺寸统一缩放到640x640,训练集大概有一万多张,验证集两千多张。这个数据集中小目标占比超过四成,特别适合验证下采样改进的真实价值。对比模型是同一份YOLO26代码,一个用原始Stride Conv下采样,一个用MaxPool,另一个换成WaveletPool。所有模型使用相同的预训练权重、优化器和学习率调度,总共训练300个epoch,Batch Size设成16,在一张24GB显存的显卡上跑完一组大约需要一天半。训练过程中我额外记录了前50个epoch的Loss曲线,发现WaveletPool版的收敛速度略快于原始版本。原因也很好理解,低频分支从一开始就提供了相对稳定的语义梯度,高频分支让边界信息更早进入特征提取阶段,网络不需要在中后期再“补课”去恢复丢失的细节。4.2 mAP、参数量与推理耗时对比下采样方案mAP50mAP50-95小目标AP参数量(M)推理耗时(ms)Stride Conv(原版)78.654.132.452.39.8MaxPool77.953.230.852.19.3BlurPool78.854.332.852.19.5WaveletPool(仅LL)79.154.834.152.610.1WaveletPool(LL+高频)80.256.337.653.410.7表格数据是我在自己数据上的实测结果,不同数据集会有浮动,但趋势是一致的。纯LL版本的提升主要是训练稳定性带来的,高频分支的加入才是真正的涨点主力,尤其小目标AP直接从32.4涨到37.6,涨了5个点还多。推理耗时的增加主要是高频分支的1x1卷积和拼接操作,多了大概1毫秒。如果你的项目对延迟极其敏感,可以只用LL版本,牺牲小目标上的部分提升来换速度;如果你像我一样更看重精度,完整版更值得跑。4.3 梯度流和热力图分析精度对比之外,我还做了两组定性分析。第一组是对比最后一层下采样前后的特征图重建效果,WaveletPool在1/32分辨率下依然能保留下小目标的响应亮斑,而Stride Conv版的对应位置已经糊成了一片。第二组是CAM热力图,WaveletPool版对小物体的激活区域更集中,位置也更精确,说明高频分支确实帮助定位分支修复了空间细节。这组效果带来的直接影响是回归分支的损失下降更快。我单独看了box loss,WaveletPool版在100个epoch时就已经达到原始版本200个epoch的水平,对于中大型目标区别不大,但小目标对应的锚框回归明显更稳定,不容易出现训练早期那种“检测到了但框不准”的问题。5. 常见问题与反复踩坑后的排查心得5.1 训练Loss突然变成NaN,大概率是归一化出了问题初学者最容易碰到的就是Loss爆炸。小波分解输出的数值范围跟卷积核的系数直接相关,如果没除以2,四个子带叠加后特征值会翻倍,后面跟着的BN层一旦没有起到归一化作用,Loss就会起飞。我的建议是第一版代码老老实实按我上面的实现,核系数保持0.5,等训练稳定之后再尝试去掉能量守恒约束,看能不能进一步涨点。另外,如果是在多卡分布式训练中,WaveletPool的分组卷积在不同卡之间通信时没有额外的同步成本,理论上不会引入额外的不确定性。但我曾遇到过一种诡异情况:单卡训练正常,多卡训练到中途Loss变NaN,最后排查发现是数据加载里某个增强操作产生了奇数尺寸,单卡时恰好没抽到那些样本,多卡时碰上了。这提醒我们,凡是改了模块,先跑5个epoch的单卡训练确认Loss曲线正常,再切换多卡。5.2 模型导出ONNX时的结构兼容性处理用自定义算子最担心的就是部署阶段。我这里的WaveletPool完全由Conv2d和Cat组成,导出ONNX时不会出现任何自定义节点,这是当时选择“用卷积实现小波”而不是“调用小波库”的关键原因。导出过程中唯一需要注意的是padding分支,如果你在forward里用了动态padding,ONNX对动态shape的支持不如静态shape稳定,建议固定使用640x640导出,需要其他分辨率再单独导出。TensorRT部署时,1x1卷积会被优化成GPU上的逐点卷积算子,性能损耗很小。如果有更高要求,可以在推理时强制走“仅LL”分支,直接砍掉三个高频子带的拼接操作,省掉的算力约等于原来下采样层总耗时的一半。我实际部署在一个嵌入式平台上测过,完整版的FPS比原始方案低了大约4%,但在可接受范围内。5.3 什么时候不建议用WaveletPool虽然这套改进在中小目标场景下效果显著,但它不是万能的。如果你的数据集以大目标为主,物体占据图像大部分面积,高频细节对检测的帮助并没有那么大,用WaveletPool反而可能增加过拟合风险,因为高频子带引入了不少背景纹理,模型会去学一些跟物体分类无关的细节。还有一种情况是移动端极低算力场景。WaveletPool比Stride Conv多了三个倍数的分组卷积和拼接操作,推理耗时增加虽然绝对值不大,但相对占比在低算力设备上会被放大。这类场景我建议用“训练时高频、推理时仅低频”的剪枝策略,精度损失控制在0.5个点以内,速度损耗几乎消失。最后分享一个我在写实验报告时的小习惯:每次改完下采样,先跑同种子的三组对比(原版、改版、去高频版),用三组差值来判断涨点到底是来自模块结构还是训练噪声。这个方法听着简单,却能帮我在好几个“看起来涨幅很大”的改进方案里识别出真正有效的部分。做完这轮实验之后,我的总体感受是:下采样模块在YOLO系检测器里长期被当成了纯过渡层,很少有人认真思考信息在下采样阶段到底经历了什么。WaveletPool给了一个很自然的切入点,用更低的信息损耗把语义和高频分别交给后续网络处理,这个思路本身比单纯刷mAP数值更有延展性。下一步我打算把同样的策略挪到检测头的分类分支里,看看能不能对小目标识别再做一轮增益。