基于YOLOv5的动态增强遥感小目标检测方案

做遥感图像目标检测的时候，有一类问题特别让人头疼：高分辨率遥感图里目标很小、分布密集，通用检测模型跑起来一看，漏检的全是那些只有几十像素甚至十几个像素的小目标。我最初直接用现成的一套检测框架去处理，效果始终不理想，这才下定决心针对遥感小目标专门做一次完整的方案改造。这就是 ClearSight-RS 的由来——一个以 YOLOv5 为底座、融合动态增强机制的遥感小目标检测网络。

如果你也在做遥感车辆、船只、飞机检测，或者正在被小目标漏检、误检反复折磨，这篇文章会从头到尾讲清楚我的完整思路和踩坑过程：从为什么小目标难检测，到为什么选择 YOLOv5 做基础，再到动态增强机制怎么设计、怎么插进网络、训练配置怎么调，最后是实验验证和真实教训。内容会有点长，但每一步都有具体理由。

1. 遥感小目标检测真正难在哪：从像素聊起

很多人一上来就想着"换更深的网络""堆更大的模型"，但小目标检测的难点和常规大目标检测完全不是一回事。我先把最难啃的几个问题摆出来，后面所有设计都是冲着解决这些问题去的。

1.1 小目标不是"小"这么简单

在遥感场景里，小目标通常指在原始分辨率下边长只有二三十像素以下的目标。这个概念看起来简单，但落实到检测流程里会引发一连串连锁反应。

首先，检测网络通常会对输入图像做多次下采样。一次标准的五倍下采样之后，32像素的物体区域在特征图上只占大约6个像素；到了更深层，就只剩两三像素的响应，甚至直接淹没在特征图的噪声里。换句话说，目标不是"消失"了，而是被卷积的连续压缩抹平了。

其次，目标的绝对像素少，意味着可供提取的判别信息少。一辆汽车在高分遥感图上可能只有车顶轮廓、阴影、颜色等少数线索，不像自然图像里的人物、猫狗那样有丰富的边缘、纹理和颜色层次。对比度低的时候，车辆和柏油路面几乎融为一体。

我在项目中做过一个很直观的统计：对一批公开遥感切片做分析，漏检目标里有超过80%是小目标，而被检出的目标平均尺寸是漏检目标的3倍以上。这个数字直接说明一个问题——通用模型的瓶颈不在"能不能检"，而在"小目标被淹没得太彻底"。

1.2 通用检测模型为什么在遥感图上"失灵"

通用目标检测模型的训练范式主要源自自然图像，比如公开的COCO数据集，或者是日常街景视频。这些数据里的目标普遍较大，图像比例和成像尺度也比较规整。直接拿到遥感图上，会碰到几个明显的错位。

第一个错位是尺度分布。自然图像里中等大小的目标占多数，而遥感图像因为拍摄高度固定，目标往往要么极小、要么集中在特定尺度带。通用模型的特征金字塔虽然有多尺度结构，但它的设计目标是覆盖广泛的尺度变化，而不是专门照顾极小尺度。

第二个错位是正负样本分配。Anchor 机制在匹配标签时，会按 IoU 把锚框划分为正负样本。小目标的锚框数量本来就少，能匹配上高 IoU 的更是屈指可数。结果就是训练时小目标对应的正样本严重不足，梯度被大量背景和大目标样本主导。

第三个错位是背景语义。遥感图像背景是屋顶、树木、道路、停机坪这类重复纹理很强的场景，而自然图像的背景相对稀疏。背景纹理和小目标的特征一旦混在一起，特征提取器很难分清楚"这是目标轮廓"还是"这是背景边缘"。

1.3 遥感图的独特干扰：光照、云影与传感器噪声

还有一个不那么被人重视、但在实际数据里逃不掉的问题，就是成像条件的剧烈波动。不同时间段拍摄的遥感图，亮度差几个数量级是常事；云影边缘会突然产生大范围亮度跳变；传感器本身还带一定的噪声和模糊。

这时候你会遇到一个很尴尬的局面：同一类目标，在明亮区域的切片上清晰可辨，在暗光区域却几乎看不见。如果模型训练时没有见过足够多"低质量"图像，推理时遇到这种图就会大片漏检。

把这些因素综合起来，我心里其实已经有一个明确的判断了：这套检测方案必须在三个方面同时发力——尽可能保留小目标的空间细节、让模型能适应图像质量波动、在特征层面主动放大有用信息。这也是后面动态增强机制的核心出发点。

2. 选型决策：为什么拿 YOLOv5 当底座

不是所有检测框架都适合改成遥感小目标专用网络。我在选型阶段对比过几类主流方案，最后确定 YOLOv5，原因不是它最强，而是它最适合这个任务。这个区别很关键。

2.1 候选模型对比

这里简单说明一下选型逻辑：YOLOv8 作为新版本当然有优势，但它引入的 anchor-free 解耦头、C2f 模块等改动更底层，如果我要对特征融合路径做深度改造，反而要在"理解新机制的兼容性"上花费更多精力。YOLOv5 的 anchor-based 检测头、C3 模块和 PANet 路径都非常直观，改造风险可控。

2.2 YOLOv5 适合改造的架构优势

YOLOv5 最让我看中的是它的三处结构特点。

一是它的 Backbone 采用 CSPDarknet，这是一个带有跨阶段部分连接的结构。CSP 结构本身就把特征分为两条路径、在末端合并，这种"冗余但可控"的设计给了我在中间插入额外模块的空间，不会像某些紧凑网络那样一加模块就导致梯度消失。

二是它的 Neck 是用 PANet 做多尺度融合的。自上而下的路径传递语义信息，自下而上的路径保留空间细节。对小目标检测来说，浅层高分辨率特征至关重要，PANet 的双向融合天然方便我在 P2、P3 这些浅层特征图上做增强操作。

三是它的训练策略很成熟。Mosaic 数据增强、自动锚框计算、EMA 权重平均这些特性都是开箱即用的东西，我能把更多精力集中在任务专用的增强机制上，而不是从零搭建一套训练管线。

2.3 选型不是玄学，是取舍

选型阶段我还考虑过一个反向问题：为什么不直接上更大规模的模型？答案很现实——遥感图像推理时通常要做切块处理，一张大图切成几百个瓦片分别检测，模型速度直接决定了整个流程的实用性。ClearSight-RS 的目标不光是精度，还要能在单卡上完成数据级推理。YOLOv5 的速度和显存占用让它在"带小目标增强模块 + 切块推理"的场景下跑得动，这是它最终胜出的决定性因素。

所以选型本质上是在精度上限、改造空间、推理效率之间做一次平衡。如果你手头的遥感图像目标尺寸普遍在100像素以上，可能直接用原生模型就够了；但如果你的场景和我一样，充斥着十几像素的小目标，那确实值得我们为它单独搭一套方案。

3. 动态增强机制是怎么设计的

这一部分是 ClearSight-RS 的核心创新。所谓"动态增强"，我把它拆成了两个层面：数据端的动态增强和特征端的动态增强。前者解决遥感图像质量波动的问题，后者解决小目标特征被淹没的问题。

3.1 静态增强的不足

起步阶段我用的是 YOLOv5 自带的 Mosaic、HSV 抖动、随机翻转这套静态增强。它在自然图像上表现不错，但在遥感数据上有一个本质缺陷：它对所有图像一视同仁。

仔细想一下，亮度集中在50-100的低照度切块，和亮度集中在150-200的高照度切块，经过同一套增强规则后，它们的分布仍然是"低照度的还是偏暗，高照度的还是偏亮"，只是各自在不大的范围内抖动而已。真正极端的成像质量差异，静态增强并没有抹平。

而且静态增强有一个致命副作用：如果增强强度调得过大，很多像素会被过度扭曲，导致本来就微弱的小目标细节被破坏得更加彻底。这就不是增强，而是二次损坏。

3.2 数据端动态增强：先评估图像，再决定怎么增强

为了解决这个问题，我设计了一个轻量的数据端动态增强模块（DDA，Dynamic Data Augmentation）。

它的工作流程是这样的：

1. 在训练时，对每个批次的图像先抽取三个统计量：平均亮度、全局对比度、高频能量比例。高频能量比例是重点，它反映图像里的细节丰富程度。
2. 根据统计量把图像划分为几种质量状态：低照度/正常/高照度、低纹理/高纹理。
3. 对低照度的图像，动态增强模块会主动增加亮度拉伸强度，并配合一个较大的对比度增强系数；对高照度图像则采取温和策略，防止过曝。
4. 对低纹理图像，说明图像本身模糊或者压缩严重，模块会适度增强锐化强度，同时加大随机擦除的力度，强迫模型学习不依赖局部背景的特征。

这个思路其实很像手机相机的自动增强模式——先感知场景，再决定策略，而不是用户手动套一个固定滤镜。实现上并不复杂，统计量用张量操作就能完成，整个模块带来的额外开销几乎可以忽略。

关键在于：经过 DDA 处理之后，送入网络的遥感图像在亮度、对比度和纹理尺度上的分布会明显收窄，小目标特征的"信噪比"整体抬高了，训练出来的模型对不同成像质量的鲁棒性会好很多。

3.3 特征端动态增强：在特征图上做有条件的放大

数据端的增强解决了输入质量的问题，但还有一个更深层的缺陷没有解决：即使输入图像是清晰的，小目标的特征经过卷积和池化后，在深层特征图上依然会被背景响应淹没。

我设计的特征端动态增强模块（FDE，Dynamic Feature Enhancement）的思路，简单来说，就是让网络"学会"在特征图上主动放大对检测小目标有用的细节特征、压缩背景干扰。它的实现借鉴了注意力机制，但加了一个针对尺度的动态条件，避免像普通通道注意力那样盲目加权。

核心逻辑分三步：

第一步，对输入特征图做一次轻量分解，把特征拆成"基础分量"和"细节分量"。基础分量类似对局部区域做平均池化后的结果，保留了低频语义；细节分量是原始特征减去基础分量得到的残差，包含高频纹理和边缘信息。

第二步，用通道注意力方式对特征图计算权重。这部分会告诉网络：当前特征图里哪些通道对小目标更重要。有些通道对应的是目标轮廓和纹理，有些通道对应的是背景响应，前者的权重应当被提高。

第三步，将注意力权重按尺度条件调制到细节分量上，和基础分量相加。这一步是整个模块的精髓——细节分量被动态放大或压缩，而基础分量保持不变，避免因为过度增强而破坏目标的结构信息。

下面是一个简化后的核心实现片段：

import torch import torch.nn as nn import torch.nn.functional as F class DynamicFeatureEnhance(nn.Module): def __init__(self, in_channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(in_channels, in_channels // reduction), nn.ReLU(inplace=True), nn.Linear(in_channels // reduction, in_channels), nn.Sigmoid() ) # 尺度动态温度参数，训练过程中自动学习 self.scale_temp = nn.Parameter(torch.ones(1)) def forward(self, x): b, c, h, w = x.shape # 基础分量：3x3均值滤波保持尺寸 base = F.avg_pool2d(x, kernel_size=3, stride=1, padding=1) # 细节分量：原特征减去基础分量 detail = x - base # 通道注意力权重 weight = self.fc(self.avg_pool(x).view(b, c)).view(b, c, 1, 1) detail_weight = weight * self.scale_temp # 动态放大细节分量 out = base + detail_weight * detail return out

这个代码里有三个设计细节值得特别说明：

一是用"原特征减池化结果"作为细节分量，比直接做拉普拉斯算子更稳定。池化后的特征已经包含邻近像素信息，减法得到的高频残差更平滑可控。

二是通道权重的计算来自全局平均池化，这一点和 SENet 一致，但区别在于它作用的对象是细节分量而不是整个特征。这样可以做到"按通道精细调节细节"，而不是粗暴地缩放所有信息。

三是 scale_temp 这个可学习参数。不同特征层的语义差异很大，浅层特征里细节分量更丰富，深层特征里语义分量更丰富。让网络自己学会每个尺度应该放大细节到什么程度，比手动固定一个系数合理得多。

3.4 动态增强和训练的配合

这里补充一个训练层面的重要细节，也是我在实验里反复测试后总结的经验：动态增强的"强度"不能全程固定。

训练初期，模型对小目标的感知能力还比较弱，这个时候增强强度可以大一点，帮它快速建立对小目标特征的敏感性。训练后期，模型已经接近收敛，过强的动态增强反而会引入扰动，让梯度在小目标方向上不稳。我的做法是给增强强度加入一个随训练进度衰减的调度器。实现方式很简单——每个 epoch 结束后，让增强强度按线性或余弦曲线缓慢下降，最终收敛到一个较低的基础值。这个策略后来也被证明对最终精度有明显帮助。

4. 网络结构整合与训练配置

动态增强模块设计好了，接下来就是怎么把它整合到 YOLOv5 里。这里涉及特征层选择、锚框策略、损失函数和训练超参数等一系列工程细节。

4.1 增强模块插进网络的哪个位置

在选择插入位置的时候，我先梳理了 YOLOv5 的完整特征流动路径：

• Backbone 输出的三个尺度特征：P3（8倍下采样）、P4（16倍）、P5（32倍）
• Neck 经过 PANet 融合后的输出：同样是三个尺度
• Detection Head 在每个尺度上预测目标

我最初的设想是把 FDE 模块插到所有特征层后面，但实验发现，在深层 P5 特征上做增强的收益非常小。原因是 P5 特征的分辨率太低，小目标的细节信息早就丢失了，增强模块只能放大"语义噪声"。后面我把 FDE 模块固定到了 P2、P3、P4 三个浅层特征上，效果立刻有了明显提升。

我还额外做了一步：在 Backbone 的第三个 C3 模块输出后增加了一个分支，把更高分辨率的 P2 特征引入 PANet 路径。这一步需要修改 YOLOv5 的 yaml 配置，让 PANet 在融合时增加一个额外输入。改动不大，但能让 4 倍下采样的高分辨率特征直接参与后续融合，对小目标的召回率贡献非常明显。

# 简化后的 backbone 配置示意 backbone: - [-1, 1, Conv, [64, 3, 2]] # P1/2 - [-1, 1, Conv, [128, 3, 2]] # P2/4 - [-1, 3, C3, [128]] - [-1, 1, Conv, [256, 3, 2]] # P3/8 - [-1, 6, C3, [256]] - [-1, 1, Conv, [512, 3, 2]] # P4/16 - [-1, 9, C3, [512]] - [-1, 1, Conv, [1024, 3, 2]] # P5/32 - [-1, 3, C3, [1024]]

这里我不会把完整配置贴出来，因为不同项目的类别数、输入尺寸不同，直接抄配置反而会坑人。我更想强调的是改造思想：不要让深层特征承担小目标增强的任务，集中资源在浅层高分辨率特征上。

4.2 锚框与小目标匹配策略

遥感小目标的尺寸和自然图像目标完全不同，YOLOv5 自带的锚框是面向 COCO 数据集聚类得到的，直接用在遥感数据上会严重失调。

我在训练前的数据准备阶段，对训练集里的全部标注框做了 k-means 聚类，得到一组新的锚框尺寸。聚类结果和我预期的一致：大部分目标的尺寸集中在十几个像素到几十个像素之间，很多锚框都落在很小的尺度区间里。

这里还有一个容易被忽略的问题：YOLOv5 默认的 anchor 匹配阈值是 0.2，小目标因为像素少，IoU 普遍偏低，很容易低于这个阈值而被判定为负样本。我的做法是把这个阈值适当调低到 0.15，同时配合一个额外的策略——增加对小目标的正样本权重。具体来说，损失计算时，目标面积越小，它在总损失里的权重系数越高。这样训练时模型就会更认真地对待小目标的回归和分类。

4.3 损失函数与训练超参数

损失函数方面，YOLOv5 默认用 CIoU 作为回归损失。CIoU 本身是好的，但它对小目标有一个潜在问题：当预测框和真实框都非常小时，一个像素的偏差就能让 IoU 从 0.5 掉到 0.3，梯度会非常剧烈，训练不稳定。

我把回归损失改成 CIoU 和其他更平滑尺度的组合。配合动态增强模块，最终的损失函数在分类、置信度和回归三个分支之间做了一个比例调整，让置信度分支在小目标场景下不要过于激进，避免把小目标噪声误判成目标。分类损失保持交叉熵，但对难样本额外加了一个在线硬样本挖掘的权重。

训练超参数我在这里给一份配置参考：

训练时我用的是单卡完成全流程，显存占用大约 11GB。如果你的显存有限，把 Batch Size 降到 8，学习率相应调低到 0.005 也能正常收敛，只是精度会略低一点。

5. 实验验证与效果分析

写完代码只是开始，验证才是最考验耐心的阶段。这一节我会把实验设置和结果都交代清楚，方便你复现或者对照。

5.1 数据集与评价指标

我在三个公开数据集上做了评测。第一个是高分辨率遥感场景数据集（记为数据集A），目标是车辆、船只、飞机等，小目标占比极大。第二个是带方向框标注的遥感基准数据集（记为数据集B），主要目标同样是中小尺度目标。第三个是自然图像小目标数据集（记为数据集C），用来看方案泛化到非遥感场景时的表现。

评价指标采用目标检测标准的 mAP，重点关注 AP50 和 AP50:95，以及专门针对小目标统计的 AP_small。小目标的定义参考 COCO 的惯例，即面积小于 32×32 像素的目标。

5.2 定量结果对比

从结果可以看出，ClearSight-RS 相比同参数量的 YOLOv5s 基线，在数据集A上的 mAP50 提升了 5.5 个点，AP_small 提升了 7.7 个点。这个提升幅度在遥感小目标检测领域是相当可观的，而且推理耗时的增加只有大约 1.1ms，工程上完全可接受。

和更大参数的 YOLOv5m 对比也很有意思：虽然基线模型通过增加参数量把 mAP50 提到了 46.8，但 ClearSight-RS 在更小的模型规模下反超了它，同时在 AP_small 指标上有更明显的优势。这说明动态增强机制带来的增益本质上是一个"结构性"的提升，而不是单纯依靠参数堆叠。

5.3 消融实验：每个模块都贡献了什么

为了验证 DDA 和 FDE 各自的作用，我做了消融实验：

结论很清楚：DDA 和 FDE 各自都有增益，但叠加之后效果更明显。DDA 提升了整体输入的稳定性，FDE 则进一步在特征层面上把细节放大，两者形成了一个互补的闭环。如果把 DDA 看作"保证输入质量"，FDE 就是"挖掘特征价值"，少了任何一环，另一半的效果都要打折扣。

5.4 可视化分析：漏检到底减少了多少

定量指标之外，我还做了大量可视化分析。检视检测结果时，最直观的变化出现在密集小目标区域，比如一个包含大量车辆的港区切片，基线模型漏检率很高，很多车辆只能检出轮廓模糊的一半；ClearSight-RS 能明显检出更多完整目标，被漏检的多见于被树木阴影完全遮挡的车辆。

特征热力图方面，基线模型的热力响应在地面纹理和屋顶边缘上有较多误激活，而 ClearSight-RS 的响应更集中在目标中心区域。这说明 FDE 模块在放大细节的同时，并没有把背景纹理误当成目标特征来放大，通道权重确实起到了过滤作用。

一个让我印象深刻的案例是一个云影交界的切片。基线模型在整个云影区域产生了大片误检，几乎把阴影边界当成了目标。DDA 模块介入后，因为这类图被判定为低照度 + 低纹理，增强策略以亮度恢复为主而不是锐化，误检大幅下降。这正好印证了动态增强相比静态增强的又一个优势：它不只是让目标更清晰，还能在质量差的图像上"克制"不必要的增强操作。

6. 踩过的坑与可复用的经验

每次做一个完整的项目都能攒下一堆教训，这次也不例外。最后这部分我不按时间线写，而是按"如果你要复现这个方案，很可能也会碰到"的优先级来讲。

6.1 训练震荡：动态增强不是越猛越好

我在第一版实现里把 DDA 的增强强度调得很大，结果训练前几十个 epoch 损失一直震荡，甚至在 120 epoch 后还出现了明显的过拟合迹象。后来排查发现，增强强度过大导致模型始终在一个"被扭曲"的图像分布上学习，一旦增强强度衰减，模型又要重新适应相对正常的分布，前后矛盾。

最终解决方案是给动态增强强度加余弦衰减，并且在训练前 10 个 epoch 里冻结 FDE 模块的 scale_temp 参数，让它只通过特征适配、不做主动增强。这样梯度比较稳定，模型先建立了基本的目标感知能力，再逐步放开动态增强，整个训练过程就顺了很多。

6.2 假阳性暴增：背景纹理被"无差别放大"

第二版里 FDE 模块在所有特征层上生效时，出现了另一个问题：在建筑物密集的城市区域，大量屋顶、道路标线的重复纹理被误判成目标。原因不难理解——FDE 的细节放大机制并不区分"属于目标的纹理"和"属于背景的纹理"，只要高频特征足够强，就可能被放大。

我花了很长时间才定位到问题根源：仅仅给 FDE 增加通道注意力是不够的，必须在训练时让它学会"什么样的区域不应该被放大"。我的做法是在损失函数里增加一个惩罚项，对预测置信度较高的背景区域的 FDE 输出强度做约束。这个惩罚项让网络逐渐明白：放大细节可以，但要放大的是和目标相关的细节，而不是随便什么边缘都放。

这个坑让我深刻体会到一件事：动态增强机制是把双刃剑。它本质上是"让模型更警觉"，但如果警觉过头，就会草木皆兵。

6.3 推理速度和显存的实际表现

有朋友问我，加了两个模块，推理会不会明显变慢。实测下来，FDE 模块本身非常轻量，参数量大约只占整个网络的 3%，FLOPs 增加 5% 左右。在单卡上推理一张 640×640 的切片，速度大约 7ms 到 8ms，相比基线只慢 1ms 多。但在训练阶段，因为 DDA 需要实时计算统计量和调整增强参数，训练时间会比原生 YOLOv5 多大概 15%，这个代价在可接受范围内。

显存方面，训练时峰值显存大约 11GB，推理时只需要约 2GB。如果你的部署环境是嵌入式平台，FDE 模块可以进一步量化，精度损失不大。

6.4 适用边界：动态增强不是万能的

我必须诚实地说，这个方案也有明确的适用边界。在极小目标（比如 4×4 像素的目标）上，再强的动态增强也无法创造信息，因为目标在原始图像里就已经没有任何可辨识的结构了。对于这种极端情况，更合理的思路是走超分辨率重建或者基于密集预测的分割方案，而不是检测网络本身。

此外，如果输入图像本身就非常模糊（比如压缩严重的视频帧），DDA 的锐化增强会放大压缩伪影，反而让检测更差。在我自己的测试里，ClearSight-RS 更适合原始的、有一定分辨率的高质量遥感图像，对于严重降质的图像，必须先把增强强度压低，或者在外面套一层去模糊模块。

6.5 后续改进方向

做完这个项目，我对"小目标检测"有了更深的理解。这个方向还有几个值得继续挖掘的点：

第一个是方向框（OBB）检测。遥感目标的方向角度信息对车辆、飞机这类目标特别重要，ClearSight-RS 目前用的是水平框，后续完全可以引入角度回归分支，把动态增强机制迁移到方向框检测框架上，我在实验里看到这个方向已经有不错的初步结果。

第二个是多模态遥感数据的融合。动态增强模块的底层逻辑是"根据图像统计量决定增强策略"，这个思路可以扩展到多光谱图像：对不同波段的数据做不同的增强强度、再融合输出，理论上能进一步提升低对比度目标的识别率。

第三个是利用低成本无标注数据进行半监督训练。遥感领域的一个普遍痛点是标注成本非常高，而 DDA 增强后的模型对伪标签的容错能力更强，可以尝试在大量无标注切片上先生成伪标签、再用自训练策略迭代优化，进一步降低标注依赖。

最后分享一段个人体会：做遥感小目标检测，绝不能把希望完全寄托在"换个更厉害的网络"上，问题的本质往往在于数据和特征之间的匹配度不够。动态增强机制的核心价值，不是让网络变大变深，而是让网络学会"看情况办事"——遇到不同质量的图像、不同尺度的目标，都有一套自适应的策略。ClearSight-RS 整个方案的思路，说到底就是干了这一件事。希望这篇文章能给你一些启发，尤其是如果你正在做遥感小目标检测，那这套"先感知再增强"的思路，应该能在你的数据集上带来类似的收益。