在目标检测和实例分割项目里摸爬滚打过的朋友应该都体会过“多尺度”这三个字的分量。早些年我在自己的检测项目里为了同时抓住大目标和小目标试过直接跑多张不同分辨率的图也试过单独训练几个不同尺度的模型再融合结果不是显存不够就是训练时间爆炸。后来读到FPNFeature Pyramid Network特征金字塔网络这篇论文整个思路一下就顺了原来特征金字塔可以这样构建用一条自顶向下的通路把高层语义传递给底层细节计算量还几乎不增加。这篇笔记我想把FPN从设计动机到每个模块的细节再到它在Faster R-CNN系列里的实际写法和训练经验完整拆一遍带着新手也能一步步看明白。这篇内容适合正在做目标检测、实例分割、小目标识别或者在读Faster R-CNN、Mask R-CNN源码时被特征融合部分卡住的人。我已经把论文里最核心的图和公式逐一解读过也结合了自己在一套检测项目里复现FPN时的实战经验下面就从“为什么要做金字塔”开始说起。1. 内容整体设计与思路拆解1.1 多尺度问题为什么难搞目标检测里物体大小差异非常大。一张街景图里远处的行人可能只有十几个像素近处的公交车却能占满小半个画面。如果我们只用单一尺度的特征去做预测理论上就只能“适应”某一范围的物体。用高分辨率特征图小目标有救了但大目标会因为感受野不够而丢失整体信息用低分辨率特征图大目标语义强了小目标却直接消失在了下采样过程里。这就是所谓“多尺度困境”。在FPN之前工业界和学术界的常规做法有这么几类。第一种是图像金字塔也就是把同一张图缩放到多个分辨率每个分辨率都独立过一遍网络。方法简单直观检测精度也确实有提升但计算量是成倍增加的训练和推理速度都扛不住。第二种是像SSD那样在网络的不同层分别引出预测不同深度的特征图天然对应不同尺度。这个方法比图像金字塔省计算但有个问题浅层特征图虽然分辨率高但缺乏语义信息直接拿来分类往往不准。第三种则是只使用网络最后一层输出来做预测典型代表是早期的Faster R-CNN和R-FCN虽然语义最强但多尺度能力几乎为零。FPN的厉害之处在于它把“图像金字塔”的思路搬进了“特征金字塔”把不同分辨率的特征图横向连接起来让每一层特征图都同时拥有高分辨率和强语义。这个设计相当于既拿了SSD的效率又避免了浅层特征“没有脑子”的问题。1.2 FPN的总体架构设计FPN整体分三条通路自底向上的前向传播、自顶向下的上采样路径、以及横向的1x1卷积连接。自底向上就是标准的卷积网络前向过程论文里以ResNet为例把每个stage输出的最后一层特征图作为一组金字塔层。需要说明的是论文里选的是每个stage的最后一层因为每一层经过多层卷积后语义最丰富。具体来说ResNet的conv2、conv3、conv4、conv5输出的特征图论文记为C2、C3、C4、C5它们相对原图的步长分别是4、8、16、32像素。自顶向下路径则是从最高层开始把特征图通过最近邻上采样放大两倍然后和自底向上对应层的特征图做融合。融合前有一个关键操作自底向上的特征图要先经过一个1x1卷积把通道数统一到一个固定的值论文里用的是256维。这样做的目的是让两层特征图的通道数对齐才好在做逐元素相加时形状一致。融合后的特征图还会经过一个3x3卷积论文里说这是为了消除上采样带来的混叠效应实际上也能让融合后的特征更平滑后续我们展开说。最终生成的金字塔层级是P2、P3、P4、P5分别对应C2到C5步长从4到32。额外的论文还在P5后面接了一个步长2的最大池化生成P6这个P6不参与特征融合专门给RPNRegion Proposal Network用因为RPN需要覆盖更大的anchor尺度。这整个设计里面最妙的地方在于“共享参数”。自顶向下通路里的3x3卷积在每一层用的都是同一套权重而不是每层各学一套。论文里的实验表明这样做的精度损失几乎可以忽略但参数量省了很多。我们在复现时一开始不知道这个细节给每层都开了独立的卷积层结果模型变大不少精度还差不多后来才意识到共享权重才是正解。2. 核心细节解析与实操要点2.1 通道对齐为什么必须用1x1卷积做特征融合时第一件事就是处理通道数。C2是256通道C3是512C4是1024C5是2048。如果直接上采样去加维度对不上代码直接报错。论文用1x1卷积把C2到C5都压到256通道这样自顶向下的特征和横向连接的特征就都是256维了。为什么选1x1而不是直接用一个普通的卷积层来做降维1x1卷积是对每个像素位置做线性组合它改变了通道间的信息混合方式但完全不改变空间结构所以它不会像3x3卷积那样引入邻域信息的干扰。特征图的空间尺寸在这里保持不变我们只想要一个“纯通道变换”而不是提取新特征。如果在这里用3x3卷积融合后的特征会叠加额外的下采样和邻域信息反而让金字塔各层之间的一致性变差。我当时在实现这个模块时踩过一个坑1x1卷积后面要接BNBatch Normalization批归一化吗论文的代码里默认是卷积后面直接相加不再额外加BN。如果你在训练时加BN需要注意批量大小对BN统计量的影响尤其是在多卡训练时同步BN和不同步BN的结果差异很大。个人建议是严格遵循论文的做法融合前不做BN融合后再按需处理。有人觉得加了BN收敛更快但精度并没有本质提升反而引入了额外的计算和显存占用尤其在推理阶段BN的统计量还得维护麻烦得很。另一个容易忽略的细节是C2这一层也参与金字塔的构建。很多人在实现时会习惯性跳过C2因为C2的特征图尺寸太大原图的1/4显存占用很高。但论文里的消融实验明确说明包含C2对最终mAP是有正向贡献的特别是在小目标比较多的数据集上效果更明显。C2的特征图分辨率高能保留更多空间细节对小目标检测至关重要。不过如果你在训练时显存确实紧张可以尝试从C3开始构建金字塔虽然论文中没有这种配置但我在某些比赛场景里试过小目标mAP确实掉了一些但整体还能接受属于一种“妥协方案”。2.2 上采样策略为什么用最近邻插值自顶向下路径里上采样方式选的是最近邻插值。这里有个很常见的疑问为什么不用转置卷积或者双线性插值转置卷积是带学习参数的在特征金字塔里做一个上采样操作理论上可以学到一个更好的映射。但转置卷积有一个问题它是局部操作的感受野比较小而且增加了大量参数和计算量。在FPN这种金字塔结构里上采样只负责把特征图尺寸翻倍后续会与对应的横向特征相加再通过3x3卷积做平滑所以你并不需要一个“高级”的上采样器最近邻就够了。另一个原因是最近邻插值不会引入新的“伪细节”。双线性插值会产生平滑的过渡值这些值不是从原始数据中直接采样得到的在后续和底层特征相加时反而可能模糊掉边缘信息。最近邻插值只是复制像素值虽然看起来“锯齿感”更强但它在语义上和底层特征做加法时更不容易产生语义漂移。实验也证实了这一点在COCO数据集上最近邻和双线性之间的mAP差距很小而最近邻的速度和显存表现更好。所以论文选最近邻不是随便选的。说到显存还有一个细节值得注意上采样后的特征图和横向连接的1x1输出相加前它们的尺寸必须严格一致。如果ResNet的某个stage因为stride原因导致尺寸不是严格的2倍关系比如输入尺寸不满足32的倍数就会在相加时报维度错误。所以FPN对输入图像的尺寸有隐含要求——最好是32的倍数。这一点在做目标检测时普遍被遵循YOLO系列也有类似要求但很多新手第一跑就会遇到这个bug因为误输入了任意尺寸的图片。2.3 3x3卷积的作用与共享机制融合后的特征图还会过一个3x3卷积。论文里说这一步的目的是“消除上采样的混叠效应”。什么是混叠效应你可以想象一张低分辨率图片被放大后边缘会出现锯齿和马赛克一样的块状结构。虽然最近邻插值只做复制但在和C层特征相加后融合特征的边缘往往很生硬。3x3卷积在这个位置上可以对每个局部窗口做一次平滑让特征过渡更自然。但共享机制的细节你注意到了吗每个金字塔层用的3x3卷积是同一份权重。这意味着P2到P6层在融合后都经过同样的卷积滤波器。从直觉上看不同层的特征尺度差异很大为什么可以用同一套卷积核论文的解释是FPN的每一层输出本质上都是“表征同一份图形的不同分辨率版本”经过了上采样和横向连接之后它们已经处于一种“尺度对齐”的状态所以共享卷积不会带来性能损失。论文中的实验对比了共享和独立卷积结果精度基本持平而共享版本参数量大幅减少。我实际复现时发现共享3x3卷积还有一个隐藏的作用是正则化。因为每层都在同一个卷积核上约束相当于强制金字塔各层的特征在语义上保持一致性这会减少过拟合。尤其在训练数据比较少的时候共享机制的优势会更明显。另外这个3x3卷积是不改变通道数的输出保持256维。所以在代码里你会看到这样一个模块Conv2d(256, 256, kernel_size3, padding1)反复出现在多个层级上但它们的model.state_dict()里是同一个key。2.4 P6层的作用无需融合论文里在P5后面接了一个stride2的max pooling来生成P6但P6没有对应的C6横向连接它只是P5的一个下采样版本。为什么还要它因为RPN需要的anchor框最大尺寸往往超过P5的感受野范围在COCO中anchor面积最大是512x512如果直接从P5预测这么大的框感受野不够容易导致正样本质量差。P6特征图步长为64对应原图中更大的区域更匹配大anchor的预测任务。这里有一个很多人容易混淆的地方在最终输出的金字塔层中RPN使用的实际上是P2到P6五层而Fast R-CNN检测头使用的是P2到P5四层因为目标检测头的ROI Pooling通常不会选择最小的P6层。P6的stride是64roi尺寸如果小于这个步长pooling后几乎就剩下单点信息丢失太严重了。这在实现时一般会这样配置RPN在P2~P6上做区域提议ROIHead在P2~P5上做分类回归。还有一个细节P6由P5的最大池化得到而不是再额外接一个卷积。最大池化不改变通道数也不引入参数量可以看作一个轻量级的下采样。这里如果用步长2的卷积替代也能达到目的但最大池化没有可学习参数在推理时更轻量。论文的代码也是这么实现的。3. 实操过程与核心环节实现3.1 准备工作与基础架构选型在实现FPN之前先把基础工作做好。我建议用PyTorch框架代码可读性好调试方便。检测框架方面可以选择自己写一个精简版也可以直接基于开源的检测库改。这里我不推荐点名任何具体的库但你可以用自己熟悉的、能拿到源码的库来实践。第一步准备一个预训练好的ResNet骨干网络。FPN的初始权重使用的是ImageNet预训练模型而不是随机初始化。这个选择非常关键。因为FPN的横向连接和自顶向下通路是从ResNet的各个stage引出的如果ResNet部分随机初始化整个网络的收敛会非常慢而且很容易陷入局部最优。我在实践中试过完全从头训练在数据集上训练了200个epochmAP也不如预训练模型只训练50个epoch的效果。所以别在这个环节省钱直接用预训练权重。第二步明确输出特征图列表。以ResNet为例你需要把网络切成多个stage拿到C2、C3、C4、C5的输出。实现时可以用PyTorch的forward hook来捕获每一层的输出。但要注意如果你用了torchvision提供的预训练ResNet模型它的layer1输出是C2layer2是C3layer3是C4layer4是C5这个对应关系别搞错。第三步实现FPN模块。我直接给一份核心代码包含横向连接、上采样路径和输出投影三个部分import torch import torch.nn as nn import torch.nn.functional as F class FPN(nn.Module): def __init__(self, in_channels_list[256, 512, 1024, 2048], out_channels256): super(FPN, self).__init__() # 横向连接1x1卷积统一通道数 self.lateral_convs nn.ModuleList() for in_channels in in_channels_list: lateral nn.Conv2d(in_channels, out_channels, kernel_size1) self.lateral_convs.append(lateral) # 融合后的平滑卷积3x3共享权重 self.smooth_convs nn.ModuleList() for _ in range(len(in_channels_list)): smooth nn.Conv2d(out_channels, out_channels, kernel_size3, padding1) self.smooth_convs.append(smooth) def forward(self, inputs): # inputs: [C2, C3, C4, C5] laterals [lateral_conv(x) for lateral_conv, x in zip(self.lateral_convs, inputs)] # 自顶向下融合 for i in range(len(laterals)-1, 0, -1): laterals[i-1] laterals[i-1] F.interpolate(laterals[i], scale_factor2, modenearest) # 平滑输出 outputs [smooth_conv(lateral) for smooth_conv, lateral in zip(self.smooth_convs, laterals)] return outputs请注意这段代码里smooth_convs虽然是一个ModuleList但如果你想让它们共享权重需要改成下面这样self.smooth_conv nn.Conv2d(out_channels, out_channels, kernel_size3, padding1) outputs [self.smooth_conv(lateral) for lateral in laterals]这个区别非常细微但很重要很多人在实现时就会在这里踩坑生成多个独立卷积核导致参数增加且行为不符合论文描述。3.2 在RPN中的接入方法RPN是Faster R-CNN里的区域提议网络FPN的论文里对RPN做了一点改造原来RPN只在一个特征图上做3x3滑窗现在变成了在P2到P6五个特征图上分别做。每条金字塔层上设置不同尺度的anchor。在原始Faster R-CNN中RPN通常使用3种尺度和3种宽高比共9个anchor。在FPN版本中每个金字塔层只使用一种尺度对应特征图的stride但保留3种宽高比所以每层是3个anchor五层总共15个anchor。具体来说P2对应32x32尺度的anchorP3对应64x64P4对应128x128P5对应256x256P6对应512x512。宽高比固定为{0.5, 1.0, 2.0}。这样设置的好处是每一层的anchor尺寸和该层特征图的感受野匹配不会出现小特征图预测超大框或大特征图预测超小框这种错位。实现RPN时只需对每一层特征图分别做3x3卷积加两个1x1分支分类和回归然后对多层的输出做并集。训练时正负样本的分配策略也变了。每个anchor会分配到其对应的那一层特征图去计算损失anchor和某个ground truth的IoUIntersection over Union交并比大于0.7视为正样本小于0.3视为负样本。这里比原始RPN的0.5阈值更严格因为多层金字塔让每个层次的anchor覆盖范围更窄正样本质量更高。从我的实操经验来看FPN接入RPN后proposal数量可以减少一些仍然保持召回率。原始RPN在单特征图上可能需要2000个proposal而在FPN五层结构下1000个proposal就足够了。这对后续ROIHead的速度提升非常明显因为ROIPooling的输入少了近一半。3.3 在Fast R-CNN检测头中的使用方法除了RPNFPN同样改了Faster R-CNN里的检测头部分也就是Fast R-CNN分类器。原始做法是在一个特征图上做ROI PoolingFPN的做法是根据ROI的尺寸选择对应的金字塔层提取特征。选层的公式是k k0 log2(sqrt(w*h) / 224)。其中k0是基准层论文里设为4即P4层w和h是ROI的宽和高224是ImageNet预训练时的输入尺寸。这个公式的意思是ROI面积大约是224x224时映射到P4层ROI越小应该去越浅层的金字塔里提取特征因为浅层分辨率高保留的空间细节更多。具体计算一下如果一个ROI的宽高是112x112像素sqrt(wh) 112log2(112/224) -1所以k 4 - 1 3也就是去P3层做ROI Pooling。如果ROI是448x448sqrt(wh) 448log2(448/224) 1k 4 1 5映射到P5层。这就是“尺寸自适应分层”的核心思想。实际实现时需要注意ROI Pooling后的特征图分辨率论文里是7x7和原始Faster R-CNN保持一致。不同层的ROI Pooling结果会送到后面的全连接层去分类回归。这里有一个实现技巧与其对每个ROI分别做一次ROI Pooling不如把分配到同一层的ROI打包成一个batch统一做一次ROI Pooling这样可以大幅提升GPU利用率。3.4 训练策略与超参数经验训练FPN时我建议先保持基础学习率不变比如0.01以8卡batch size16为例然后观察损失曲线。FPN相比原始Faster R-CNN收敛速度会更快因为高层特征和底层特征同时参与监督梯度回传路径更均匀不会出现底层卷积网络“学不到东西”的情况。我第一个FPN项目训练时踩过一个坑初始的anchor尺度没有按COCO的标准设置而是沿用了我自己数据集上预测的一个尺度分布结果训练初期loss很不稳定甚至出现loss为nan的情况。排查下来发现因为anchor尺度和特征图严重不匹配大多数anchor的IoU都落在0.3到0.7之间的灰色地带既不算正样本也不算负样本导致RPN的损失很小但有意义的梯度却很少。建议拿到一个新数据集时先统计一下目标框的尺寸分布再来配置金字塔层的anchor尺度。如果你的目标整体偏小可以把P2的anchor设成更小的16x16如果目标整体偏大则可以去掉P2层来降计算。此外在训练时不要跳过warmup阶段。FPN的特征金字塔会放大“尺度突变”如果学习率一开始太高高层特征很容易把底层特征带偏。我一般用500 iterations的warmup从0.001起步warmup结束后再恢复到0.01。这个设置在好几个数据集上都表现稳定。还有一个值得注意的点因为P6层只用于RPN不参与ROIHead所以P6层特征的梯度只来自RPN的回归损失和分类损失这个层不会接收到来自检测头分类分支的梯度。如果你在训练时发现P6对应的anchor几乎没有正样本可以检查一下你的训练集里是否有超过512x512的目标框。如果没有P6层的正样本会非常少RPN的loss在P6层上会很小这属于正常现象。4. 常见问题与排查技巧实录4.1 输入尺寸不匹配导致的维度错误症状前向传播时在特征相加处报错提示尺寸不一致例如“size mismatch for tensor”。原因通常是输入图像的长或宽不是32的倍数导致ResNet在stage边界下采样时某一层的特征图尺寸不是上一层的一半。解决办法在数据管线的最后加一个pad操作把图像统一缩放到短边为800、长边不超过1333的范围内COCO的标准配置具体尺寸必须满足32的倍数。实现时可以用一个简单函数判断def align_to_multiple(size, multiple32): return int(math.ceil(size / multiple) * multiple)使用这个函数调整图像的宽和高再做resize。如果你用的是PyTorch的通用检测库通常在transform里会包含这个步骤。4.2 添加上采样后的混叠伪影有人训练完FPN后可视化特征图发现融合后的特征有“棋盘状”的网格花纹尤其在浅层特征上比较明显。这是因为最近邻上采样本质上是一种像素复制当横向连接的特征和上采样特征的边界位置偏移一个像素时会出现规则的块状伪影。3x3平滑卷积可以缓解这个问题但如果你看到明显的网格痕迹可以考虑在融合前对横向连接的1x1输出加一个普通的3x3卷积做轻微平滑或者把上采样模式改成nearest但配合后续使用空洞卷积来增大感受野。不过论文的做法已经足够伪影对最终检测精度的影响其实很小。如果你实在看不惯可视化结果中的网格花纹可以在保存可视化特征图时把特征缩放到0-255范围内配合一定的阈值过滤视觉效果会好很多。4.3 多卡训练时BN统计量不一致如果FPN里用了BN并且是多卡训练需要注意BN的统计量是在每个卡上独立计算的。当batch size比较小时比如每卡2张BN的统计量偏差大会导致训练不稳定。我遇到过某些卡上的BN统计量计算出异常值导致loss曲线出现尖峰。解决方案有几种。一是移除FPN内部所有BN层像论文原始实现那样只在骨干网络里保留BN骨干网络的预训练权重已经适配了BN统计量。二是使用同步BN也就是在训练时跨卡同步统计量但显存和通信开销都会增加。三是冻结骨干网络的BN层只训练FPN和RPN、ROIHead里的卷积层。第三种方法在迁移学习场景中很常见能省显存且收敛稳定。4.4 P6层不参与损失计算导致梯度异常P6层在代码里如果实现不当可能会在反向传播时因为P5到P6的最大池化操作产生梯度传播问题。最大池化的梯度只会流向最大值所在的像素如果P6层的anchor大部分找不到对应的正样本那一层的梯度贡献会很小但这不意味着错误。问题常出现在把P6当成普通金字塔层参加ROIHead训练时因为ROI的尺寸一般很少达到512x512以上P6层几乎没有ROI被选中梯度直接为0浪费计算资源。我的建议是仔细阅读论文图注P6只用于RPN不用于ROIHead这和Mask R-CNN里的用法也是一致的。在代码中RPN的输入层列表是[P2, P3, P4, P5, P6]ROIHead的输入层列表是[P2, P3, P4, P5]两者要区分开。如果你发现显存不够可以考虑完全去掉P6层把RPN的输入减少到四层这样训练速度更快大目标的召回率会有轻微下降但大多数场景下影响不大。4.5 小目标检不出来FPN对多尺度有天生优势但不代表所有小目标都能被检测出来。如果你的数据集里小目标特别多且P2层已经是最浅层了此时可以尝试引入更浅层的特征比如把C1也加入到金字塔里生成P1层。这一步会增加显存开销因为C1的通道数和分辨率都很大但如果你有资源确实能有效提升小目标召回率。另一个思路是提高输入图像的分辨率。FPN和多尺度训练是互补关系不是替代关系。我在比赛项目中一般把输入短边从800提升到1000配合FPN小目标的AP能提升2到3个点。代价是显存占用和训练时间增加。如果你始终受限于显存也可以尝试在训练时用多尺度随机采样让网络见过更多尺度的目标。5. 后续扩展与个人体会FPN从2017年提出来到现在思路已经被广泛吸收到了各种检测和分割模型里。有人把FPN和注意力机制结合在特征融合时加通道注意力或空间注意力有人把FPN和NAS神经架构搜索结合让网络自动决定在哪里融合特征还有人把FPN用在Transformer类的检测器里比如多尺度可变形注意力就借鉴了金字塔分层的想法。但万变不离其宗核心还是“不同尺度的语义对齐与空间细节互补”。从我个人的复现经验来看FPN最值得学习的不是具体的代码实现而是它解决问题的思路与其在输入端做图像金字塔不如把网络本身所固有的多尺度特征重新组织和利用。这个思想在后面的很多工作中都在延续。每当我面对一个新的检测任务时先问自己三个问题我的目标尺度范围是什么、现有骨干网络的哪些层能覆盖这些尺度、不同层之间应该怎么连接。把这三个问题想清楚FPN的设计理念就已经能用上了。还有一个很小的经验在实际项目里不要一上来就追求完全复现论文的全部细节。建议先在一个简单的数据集上搭建一个最小可行的FPN比如只用三层金字塔去掉P6把pipeline跑通再逐步加入更复杂的配置。这样做能帮你快速定位到哪个模块是真正的性能瓶颈也能避免被各种兼容性问题折磨到放弃。如果你正准备复现FPN或者在做检测项目时遇到多尺度相关的问题希望这篇笔记能帮你少走一些弯路。踩过几次坑之后我最大的感受就是读论文一定要把每个模块的设计动机想明白而不只是把网络结构照抄下来否则换一个数据集、换一种任务问题立刻就会暴露出来。