LSKNet快速上手3步跑通你的第一个遥感旋转目标检测【免费下载链接】LSKNet(IJCV2024 ICCV2023) LSKNet: A Foundation Lightweight Backbone for Remote Sensing项目地址: https://gitcode.com/gh_mirrors/ls/LSKNet遥感图像中的目标检测一直是计算机视觉的难点目标小、方向任意、背景复杂传统水平框检测方法往往力不从心。LSKNet 正是为解决这一问题而生的轻量级骨干网络它在 ICCV 2023 和 IJCV 2024 连续发表凭借大卷积核 空间选择机制在 DOTA、FAIR1M、HRSC2016 等遥感旋转目标检测数据集上刷新了多项 SOTA 纪录。本文带你用 3 步快速上手 LSKNet从环境搭建到训练测试跑通你的第一个遥感旋转目标检测模型。LSKNet 是什么为遥感场景而生的轻量级骨干网络遥感场景有一个独特先验很多目标如车辆、舰船、飞机非常小如果没有足够大的上下文信息很容易被误检或漏检而且不同类型的物体所需的上下文范围差异很大——检测停车场里的车辆需要参考整个停车场而检测单独的建筑可能只需局部信息。LSKNetLarge Selective Kernel Network大选择性卷积核网络抓住了这一点它让网络能够动态调整大范围的感受野根据输入内容选择性地关注不同尺度的空间上下文。这也是大卷积核 选择机制首次被引入遥感目标检测领域。从上图可以看到 LSKNet 的核心设计通过大卷积核分解Larger Kernel Decomposition将大感受野拆分为两个并行分支再通过空间选择Spatial Selection机制动态融合不同分支的特征让模型自动决定该看多远。LSKNet 的 3 大核心优势⚡轻量高效提供 LSKNet-T / LSKNet-S 两种规格参数量和计算量远低于传统骨干却能在 DOTA-v1.0 上把 mAP 提升到 81。动态感受野LSKblock用 5×5 卷积 7×7 膨胀卷积dilation3分解大卷积核再通过空间注意力自动选择关键上下文兼顾精度与速度。即插即用LSKNet 是通用骨干网络可直接替换 MMRotate 中 Oriented R-CNN、R3Det、S2ANet、RoI Transformer 等检测器的 backbone改一行配置即可。核心实现位于mmrotate/models/backbones/lsknet.py其中LSKblock就是上面架构图中空间选择机制的关键代码。第 1 步LSKNet 环境搭建最快配置方法LSKNet 官方实现基于 MMRotate依赖 PyTorch、MMCV 和 MMDetection。整个安装过程只需几分钟conda create --name openmmlab python3.8 -y conda activate openmmlab conda install pytorch1.8.0 torchvision0.9.0 cudatoolkit10.2 -c pytorch pip install -U openmim mim install mmcv-full mim install mmdet然后克隆 LSKNet 仓库并安装git clone https://gitcode.com/gh_mirrors/ls/LSKNet cd LSKNet pip install -v -e .第 2 步准备数据与选择 LSKNet 训练配置训练前需要准备遥感数据集如 DOTA-v1.0官方提供了完整的数据切分脚本位于tools/data/dota/目录可参考其中的说明完成数据准备。LSKNet 的所有训练配置都集中在configs/lsknet/目录下官方已经为你准备好了一系列开箱即用的配置配置文件检测器数据集lsk_s_fpn_1x_dota_le90.pyOriented R-CNNDOTA-v1.0lsk_s_r3det_fpn_1x_dota.pyR3DetDOTA-v1.0lsk_s_s2anet_fpn_1x_dota.pyS2ANetDOTA-v1.0lsk_s_fpn_3x_hrsc_le90.pyOriented R-CNNHRSC2016lsk_s_fpn_1x_fair_le90.pyOriented R-CNNFAIR1M-1.0以主力配置configs/lsknet/lsk_s_fpn_1x_dota_le90.py为例它的核心结构是骨干网络LSKNetembed_dims[64, 128, 320, 512]depths[2,2,4,2]可加载 ImageNet 预训练权重颈部网络FPN输出 256 通道多尺度特征检测头OrientedRPNHead OrientedStandardRoIHead输出 15 类 DOTA 目标。第 3 步训练、测试与可视化跑通你的第一个模型训练 LSKNet 模型单卡训练python tools/train.py configs/lsknet/lsk_s_fpn_1x_dota_le90.py多卡训练官方实验使用 8 卡./tools/dist_train.sh configs/lsknet/lsk_s_fpn_1x_dota_le90.py 8测试与评估python tools/test.py configs/lsknet/lsk_s_fpn_1x_dota_le90.py checkpoints/lsk_s_fpn_1x_dota_le90.pth --eval mAP单张图片推理演示仓库提供了演示脚本demo/image_demo.py可以快速对单张遥感图像进行旋转目标检测python demo/image_demo.py demo/dota_demo.jpg configs/lsknet/lsk_s_fpn_1x_dota_le90.py checkpoints/lsk_s_fpn_1x_dota_le90.pth --out-file work_dirs/demo_result.jpg上面这张图是典型的停车场遥感场景黄色校车、小型车辆、大型建筑等目标排列密集且方向各异正是 LSKNet 这类旋转目标检测模型的主场。再看一个类似场景的检测结果LSKNet 在主流遥感数据集上的表现LSKNet 用轻量换来了全面领先数据集模型mAP备注DOTA-v1.0LSKNet_T Oriented R-CNN81.37超越此前最强 RTMDet-lDOTA-v1.0LSKNet_S Oriented R-CNN81.64DOTA-v1.0LSKNet_S* (EMA)81.85指数滑动平均微调FAIR1M-1.0LSKNet_S47.87此前最优 O-RCNN 为 45.60HRSC2016LSKNet_S98.46 (mAP12)进阶玩法从 LSKNet 还能得到什么换检测器同样的 LSKNet 骨干可以搭配 R3Det、S2ANet、RoI Transformer 等不同检测头配置都在configs/lsknet/下可以比较哪种组合最适合你的业务场景。换数据集除了 DOTA仓库还提供了 HRSC2016、FAIR1M、HRSID、SSDD 等数据集的配置与切分工具。自定义骨干如果想改造 LSKNet核心实现就在mmrotate/models/backbones/lsknet.py从LSKblock入手即可理解整个空间选择机制进而设计自己的遥感骨干网络。小结3 步就能跑通 LSKNet搭建环境、选择配置、训练测试。作为遥感旋转目标检测领域的轻量级骨干网络LSKNet 用极小的代价换来了 DOTA、FAIR1M、HRSC2016 上的全面 SOTA非常适合作为遥感任务的基线模型。赶紧动手跑出你的第一个旋转目标检测结果吧【免费下载链接】LSKNet(IJCV2024 ICCV2023) LSKNet: A Foundation Lightweight Backbone for Remote Sensing项目地址: https://gitcode.com/gh_mirrors/ls/LSKNet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考