SENet通道注意力机制详解：从原理到PyTorch实现与调参实践

1. 为什么SENet值得反复读如果你做计算机视觉尤其是搞分类、检测或者分割SENet这篇论文大概率在你的必读清单里躺了很久。我第一次读它的时候感觉思路特别简单——不就是给特征图的每个通道算个权重然后乘回去吗但后来在几个实际项目里反复用到这个模块才发现它的设计细节远比表面看起来讲究。SENet全称是Squeeze-and-Excitation Networks核心贡献是提出了一个叫SE Block的轻量级通道注意力模块。它解决的核心问题是卷积操作在局部感受野内融合空间和通道信息但通道之间的重要性差异并没有被显式建模。换句话说标准卷积对所有通道一视同仁但实际上一张特征图里有些通道编码的是纹理有些编码的是颜色有些可能全是噪声。SE Block就是让网络自己学会“哪些通道更重要”。这篇文章适合谁看如果你刚入门深度学习想找一个结构清晰、代码量少、效果又好的注意力机制来练手SENet是绝佳选择。如果你已经有一定经验但在模型调优时发现通道维度上的信息利用不够充分那这篇论文里的设计思路能给你不少启发。我下面会从设计动机、核心结构、参数计算、代码实现、常见踩坑几个角度把SENet拆开揉碎讲一遍。不是翻译论文而是把我自己读论文和复现代码时踩过的坑、想明白的道理分享出来。2. 核心设计思路拆解2.1 通道注意力到底在解决什么问题先想一个最朴素的场景。假设你有一个64通道的特征图经过几层卷积之后这64个通道里有的响应很强有的几乎全是零。标准卷积在下一层计算时会把所有通道同等对待该加加该乘乘。但直觉上那些响应强的通道应该被放大响应弱的应该被抑制。这就是通道注意力的基本动机。SE Block的做法分三步Squeeze、Excitation、Scale。Squeeze是把每个通道的空间信息压缩成一个标量通常用全局平均池化。Excitation是用一个小型多层感知机学习通道之间的非线性关系输出每个通道的权重。Scale就是把学到的权重乘回原来的特征图。整个过程可以概括为先看全局再决定每个通道该放大还是缩小。为什么用全局平均池化而不是全局最大池化论文里也试过最大池化效果略差。我的理解是平均池化保留了更全面的统计信息而最大池化只关注最显著的那个点容易丢失通道的整体分布特征。当然这不是绝对的后来有些工作把两者结合但在SENet的原始设计里平均池化是更稳妥的选择。2.2 为什么用两个全连接层而不是一个Excitation阶段的结构是一个瓶颈结构先降维再升维。具体来说如果通道数是C第一个全连接层把维度降到C/r第二个再升回C。r是缩减比例通常取16。为什么要这么设计直接用一个全连接层从C映射到C不行吗这里有两个考量。第一是参数量控制。如果直接做C到C的映射参数量是C×C对于C512的情况就是26万参数太大了。用瓶颈结构后参数量变成2×C×C/r当r16时只有原来的八分之一左右。第二是引入非线性。两个全连接层之间有一个ReLU激活这让网络能学习通道之间更复杂的交互关系。如果只有一个全连接层本质上就是一个线性变换表达能力有限。我实际试过把r设成8、16、32在小型数据集上r16和r32差别不大但r8有时会过拟合。论文里在ImageNet上做的消融实验显示r16是性价比最高的选择。当然如果你的通道数特别少比如只有32那r16就只剩2个中间神经元了这时候可以适当调小r。2.3 SE Block放在网络的什么位置这是很多人复现时最纠结的问题。论文里做了大量实验结论是SE Block可以加在残差块的后面也可以加在残差分支里面。在ResNet中作者把SE Block放在残差分支的最后一个卷积之后、加法之前。这样做的原因是SE Block对残差分支的特征进行重标定然后再和恒等映射相加。如果放在加法之后那恒等映射的信息也会被重标定可能破坏原始信息的传递。在Inception网络中SE Block放在Inception模块的后面。在VGG这类直筒结构里SE Block放在每个卷积层之后。我的经验是对于残差结构放在残差分支内部效果更稳定对于非残差结构放在卷积层后面就行。另外SE Block的计算开销很小主要来自全局平均池化和两个全连接层在GPU上几乎不增加推理时间。3. 参数计算与代码实现细节3.1 参数量和计算量的精确计算假设输入特征图通道数为C空间尺寸为H×W缩减比例为r。Squeeze阶段是全局平均池化没有参数计算量为H×W×C次加法。Excitation阶段有两个全连接层第一个权重矩阵是C×(C/r)偏置是C/r第二个权重矩阵是(C/r)×C偏置是C。所以参数量是C×C/r C/r C/r×C C 2C²/r 2C/r C。当C256r16时参数量是2×65536/16 2×256/16 256 8192 32 256 8480。相比一个3×3卷积层假设输入输出都是256通道的参数量256×256×3×3589824SE Block的参数量只有它的1.4%左右。计算量方面Excitation阶段需要C×C/r C/r×C次乘加大约是2C²/r。对于C256r16就是8192次乘加。而一个3×3卷积在同样通道数下的计算量是H×W×256×256×3×3对于224×224的输入大约是3.5×10^9次乘加。SE Block的计算量完全可以忽略不计。3.2 PyTorch实现中的关键细节下面是我常用的SE Block实现基于PyTorch。注意几个细节全连接层用1×1卷积代替这样可以直接处理(N,C,H,W)格式的张量避免维度转换。import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super(SEBlock, self).__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction, biasFalse), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels, biasFalse), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.avg_pool(x).view(b, c) y self.fc(y).view(b, c, 1, 1) return x * y这里有几个容易出错的地方。第一view(b, c)之后要再view(b, c, 1, 1)才能广播乘回原特征图。第二两个全连接层都不加偏置论文里也是这么做的因为后面有BatchNorm偏置的作用会被抵消。第三Sigmoid是必须的它把权重限制在0到1之间相当于一个软门控。如果用ReLU权重可能大于1会放大某些通道训练不稳定。3.3 嵌入到ResNet中的完整示例以ResNet的BasicBlock为例加入SE Block后的结构如下class SEBasicBlock(nn.Module): expansion 1 def __init__(self, inplanes, planes, stride1, downsampleNone, reduction16): super(SEBasicBlock, self).__init__() self.conv1 nn.Conv2d(inplanes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.conv2 nn.Conv2d(planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) self.se SEBlock(planes, reduction) self.relu nn.ReLU(inplaceTrue) self.downsample downsample def forward(self, x): residual x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out self.se(out) if self.downsample is not None: residual self.downsample(x) out residual out self.relu(out) return out注意SE Block放在第二个BatchNorm之后、加法之前。这个顺序很重要我试过放在加法之后在CIFAR-10上准确率掉了0.5个点左右。另外如果downsample存在SE Block只作用于残差分支不影响恒等映射。4. 实操训练与调参经验4.1 学习率和权重衰减的设置加入SE Block后模型参数量略有增加但训练动态和原始ResNet差别不大。我通常保持和原始ResNet一样的学习率策略SGD初始学习率0.1每30个epoch降10倍权重衰减1e-4动量0.9。在CIFAR-10上ResNet-110加SE Block后测试准确率从93.5%左右提升到94.2%左右提升幅度不算大但很稳定。有一点需要注意SE Block里的Sigmoid在训练初期输出接近0.5相当于对所有通道做均匀缩放不会破坏原始特征。随着训练进行权重逐渐分化。如果发现训练初期loss震荡可以检查一下SE Block的初始化。PyTorch默认的Linear初始化是均匀分布范围是[-1/sqrt(fan_in), 1/sqrt(fan_in)]对于SE Block来说这个初始化是合适的不需要特别调整。4.2 数据增强和正则化的配合SE Block本身有一定的正则化效果因为它引入了通道级别的随机性训练时BatchNorm的统计量在变导致Squeeze的统计也在变。所以在小数据集上加了SE Block之后可以适当减少Dropout的比例。我在CIFAR-10上做实验时原始ResNet用了0.3的Dropout加SE之后降到0.2效果更好。如果Dropout保持0.3训练后期会出现欠拟合。另外标签平滑label smoothing和SE Block配合得很好。标签平滑让模型不要对某个类别过度自信而SE Block让通道权重不要过度极化两者在正则化方向上是一致的。我通常设标签平滑为0.1在ImageNet规模的数据集上能带来0.2%左右的提升。4.3 推理阶段的融合优化SE Block在推理时有一个可以优化的地方两个全连接层可以合并成一个线性变换。因为Sigmoid之前的操作是线性的两个全连接层之间只有ReLU但ReLU是非线性的所以不能直接合并。不过在实际部署时SE Block的计算量很小合并的收益不大。我试过在TensorRT上做融合推理速度提升不到2%所以后来就不折腾了。真正需要注意的是SE Block对BatchNorm的统计量有依赖。如果推理时的batch size很小比如1全局平均池化的结果和训练时差异较大可能导致通道权重偏移。解决办法是在推理前用较大的batch跑一遍更新BatchNorm的running statistics或者直接用训练集的统计量。这个问题在部署到边缘设备时特别常见很多人发现模型在服务器上精度正常到了设备上掉点往往就是BatchNorm统计量的问题。5. 常见问题与排查实录5.1 加了SE Block之后精度反而下降这是最常见的问题。原因通常有三个第一缩减比例r设得太小比如r4导致中间层神经元太少信息瓶颈过窄。解决办法是把r调到16或32。第二SE Block的位置不对比如放在了恒等映射之后。第三学习率太大SE Block的Sigmoid在初期饱和梯度消失。可以尝试把初始学习率降一半或者给SE Block的参数单独设一个更小的学习率。5.2 训练loss出现NaNSE Block里的Sigmoid在输入很大或很小时梯度接近零一般不会导致NaN。但如果全局平均池化后的值特别大经过两个全连接层后可能溢出。解决办法是在全连接层之前加一个BatchNorm或者把输入特征图的值限制在合理范围。我遇到过一次NaN原因是数据预处理时没有做归一化像素值在0到255之间导致池化后的值很大。归一化之后问题就消失了。5.3 通道数不能被缩减比例整除如果通道数C48r16那C/r3没问题。但如果C50r1650/163.125整数除法会得到3实际缩减比例变成16.67。这不会报错但中间层神经元数量不是预期的。解决办法是用channels // reduction并确保至少为1或者选择一个能整除的r。我在实践中通常把通道数设计成16的倍数这样r16时总能整除。5.4 在目标检测任务中的效果不如分类明显SENet在ImageNet分类上提升显著但在COCO检测上提升幅度较小。原因是检测任务的特征图空间分辨率更高通道注意力的全局池化会丢失空间信息。解决办法是结合空间注意力比如后来的CBAM就是通道注意力加空间注意力。如果只想用SE Block可以尝试在FPN的每一层都加而不是只加在backbone上。我试过在YOLO的backbone和neck都加SE BlockmAP提升了1.2个点比只加backbone好。5.5 常见问题速查表问题现象可能原因解决办法精度下降r太小或位置不对调大r检查SE位置loss NaN输入未归一化做数据归一化训练震荡学习率太大降低初始学习率推理掉点BatchNorm统计量偏移用大batch更新统计量检测提升小空间信息丢失结合空间注意力或加在FPN6. 从SENet延伸出的思考SENet的价值不仅在于它本身效果好更在于它开启了一个方向用极轻量的模块来建模特征通道之间的关系。后来的CBAM、ECA-Net、SKNet都是在SE Block的基础上做改进。ECA-Net用一维卷积代替全连接层参数量更少CBAM在通道注意力之后加了空间注意力SKNet用多个卷积核并行再做通道注意力。如果你理解了SE Block这些后续工作读起来会非常快。我在实际项目里用SE Block最多的场景是迁移学习。当目标数据集比较小的时候在预训练模型里加SE Block然后只微调SE Block和最后的分类层往往能取得比全量微调更好的效果。因为SE Block学到的通道权重具有通用性不同数据集上通道重要性的排序有相似之处。这个技巧我在几个小样本项目里试过准确率比直接微调高3到5个点。最后分享一个我踩过的坑SE Block的Sigmoid输出在0到1之间如果某个通道的权重接近0这个通道的梯度也会接近0相当于被永久抑制了。在训练初期如果某个通道被误抑制后面很难恢复。解决办法是在Sigmoid之前加一个小的偏置比如初始化为0.1让初始权重偏向0.5以上。这个技巧在训练深层网络时特别有用能避免通道过早死亡。