人工智能计算机视觉深度学习模型评测【免费下载链接】mmdetectionOpenMMLab Detection Toolbox and Benchmark项目地址https://gitcode.com/gh_mirrors/mm/mmdetection点击查看免费下载本文档是 MMDetection 仓库中多目标跟踪MOT与视频实例分割VIS模型训练与测试的实战指南覆盖 CPU、单 GPU、单节点多 GPU、多节点与 Slurm 五种运行环境下的完整操作流程。读完本文你将掌握如何使用 tools/train.py 训练 QDTrack 等跟踪模型如何使用 tools/test_tracking.py 配合--checkpoint/--detector/--reid参数完成 SORT、DeepSORT、StrongSORT、ByteTrack、OCSORT、Mask2Former VIS 等模型的测试与评估并理解val_interval、学习率线性扩展规则、--amp混合精度、TrackImgSampler图像级采样、format_only结果格式化等关键机制背后的源码实现。背景为什么跟踪模型需要独立的训练与测试入口MMDetection 中的跟踪任务tracking与传统检测任务detection在数据组织、采样方式和评估指标上有本质差异跟踪数据以「视频/序列」为单位评估指标采用 HOTA / CLEAR / Identity 等跟踪专用指标详见 mot_challenge_metric.py部分算法还需要同时加载检测器与 ReID 模型两套权重。因此训练使用通用入口 tools/train.py而测试则使用独立入口 tools/test_tracking.py并配套 tools/dist_train.sh、tools/dist_test_tracking.sh、tools/slurm_train.sh、tools/slurm_test_tracking.sh 四个分布式/集群脚本。一、训练现有跟踪模型本节介绍如何在受支持的数据集上训练现有跟踪模型支持以下训练环境CPU单 GPU单节点多 GPU多节点此外在 Slurm 管理的集群上可以使用slurm_train.sh提交训练作业。1.1 训练前须知重要约定通过train_cfg调整评估间隔训练过程中可以通过修改配置中的train_cfg来控制评估validation频率。例如train_cfg dict(val_interval10)表示每训练 10 个 epoch 对模型评估一次。该配置在 MMEngine Runner 的训练循环中被解析是调节「训练耗时」与「指标监控粒度」之间平衡的关键参数。学习率按线性扩展规则缩放所有配置文件中的默认学习率均按 8 个 GPU 设定。根据线性扩展规则Linear Scaling Rule出自 Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour当每个 GPU 上的图像数或 GPU 总数变化时学习率应与批次大小成比例调整8 个 GPU × 每 GPU 1 张图像学习率为lr0.0116 个 GPU × 每 GPU 2 张图像学习率为lr0.04批次扩大 4 倍学习率同步扩大 4 倍。除手动换算外tools/train.py 还提供了--auto-scale-lr参数当配置中存在auto_scale_lr.enable与auto_scale_lr.base_batch_size字段时它会自动按当前实际批次大小缩放学习率否则会抛出RuntimeError提示配置缺失。日志与检查点保存位置训练过程中的日志文件和检查点checkpoint将保存到工作目录该目录由 CLI 参数--work-dir指定。默认值为./work_dirs/CONFIG_NAMECONFIG_NAME 即去掉.py后缀的配置文件名。从 tools/train.py 的源码可以看到 work_dir 的确定优先级为CLI 参数 配置文件中的work_dir字段 配置文件文件名。也就是说命令行传入的--work-dir优先级最高其次才是配置内定义的工作目录。混合精度训练如果需要混合精度训练只需在命令行指定--amp参数。源码中该参数会将cfg.optim_wrapper.type切换为AmpOptimWrapper并设置loss_scaledynamic见 tools/train.py从而实现自动混合精度AMP训练通常可显著降低显存占用并提升吞吐。1.2 在 CPU 上训练模型默认放置在 CUDA 设备上仅在检测不到 CUDA 设备时才回退到 CPU。因此如果希望在 CPU 上训练需要先通过环境变量禁用 GPU 可见性export CUDA_VISIBLE_DEVICES-1该机制的更多细节可参见 MMEngine 的 Runner 实现runner.py 中关于设备分配的判断逻辑。在 CPU 上训练 MOT 模型 QDTrack 的示例CUDA_VISIBLE_DEVICES-1 python tools/train.py configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.pytools/train.py的第一个位置参数config是必填的训练配置文件路径见 tools/train.py其余参数均为可选。1.3 在单 GPU 上训练如果只有一个 GPU可以直接使用tools/train.pypython tools/train.py ${CONFIG_FILE} [optional arguments]可以通过export CUDA_VISIBLE_DEVICES$GPU_ID选择具体使用哪张 GPU。在单 GPU 上训练 MOT 模型 QDTrack 的示例使用 2 号 GPUCUDA_VISIBLE_DEVICES2 python tools/train.py configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py1.4 在单节点多 GPU 上训练仓库提供了 tools/dist_train.sh 用于在多个 GPU 上启动训练其基本用法为bash ./tools/dist_train.sh ${CONFIG_FILE} ${GPU_NUM} [optional arguments]从脚本源码可见它本质上是调用 PyTorch 的torch.distributed.launch设置--nproc_per_node$GPUS、--master_port$PORT等分布式参数并将--launcher pytorch传给训练入口见 tools/dist_train.sh。多作业并行时的端口管理如果希望在一台机器上同时启动多个作业例如在拥有 8 个 GPU 的机器上启动 2 个 4-GPU 训练作业必须为每个作业指定不同的端口默认端口为 29500以避免通信冲突CUDA_VISIBLE_DEVICES0,1,2,3 PORT29500 ./tools/dist_train.sh ${CONFIG_FILE} 4 CUDA_VISIBLE_DEVICES4,5,6,7 PORT29501 ./tools/dist_train.sh ${CONFIG_FILE} 4在单节点多 GPU 上训练 MOT 模型 QDTrack 的示例8 GPUbash ./tools/dist_train.sh configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py 81.5 在多个节点上训练当使用以太网连接多台机器时需要在每台机器上分别运行命令并通过环境变量协调各节点的角色第一台机器主节点NNODES2 NODE_RANK0 PORT$MASTER_PORT MASTER_ADDR$MASTER_ADDR bash tools/dist_train.sh $CONFIG $GPUS第二台机器NNODES2 NODE_RANK1 PORT$MASTER_PORT MASTER_ADDR$MASTER_ADDR bash tools/dist_train.sh $CONFIG $GPUS其中MASTER_ADDR应指向第一台机器的 IPMASTER_PORT为约定好的通信端口。脚本中NNODES、NODE_RANK、PORT、MASTER_ADDR均有默认值NNODES1、NODE_RANK0、PORT29500、MASTER_ADDR127.0.0.1多节点场景下必须显式覆盖见 tools/dist_train.sh。注意如果节点之间没有 InfiniBand 等高速网络多机通信通常会很慢训练效率将显著下降。1.6 使用 Slurm 进行训练Slurm 是计算集群常用的作业调度系统。在 Slurm 管理的集群上可以使用 tools/slurm_train.sh 提交训练作业它同时支持单节点和多节点训练。基本用法bash ./tools/slurm_train.sh ${PARTITION} ${JOB_NAME} ${CONFIG_FILE} ${WORK_DIR} ${GPUS}使用 Slurm 训练 MOT 模型 QDTrack 的完整示例PORT29501 \ GPUS_PER_NODE8 \ SRUN_ARGS--quotatypereserved \ bash ./tools/slurm_train.sh \ mypartition \ mottrack configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py ./work_dirs/QDTrack \ 8从 tools/slurm_train.sh 源码可以看到脚本内部通过srun提交作业关键参数包括参数说明默认值PARTITION作业提交到的 Slurm 分区必填位置参数JOB_NAME作业名称必填位置参数GPUS总 GPU 数即--ntasks8GPUS_PER_NODE每节点 GPU 数8CPUS_PER_TASK每个任务分配的 CPU 数5SRUN_ARGS附加的srun参数空字符串PORT分布式通信端口29500脚本最后会以--work-dir${WORK_DIR} --launcherslurm调用 tools/train.py并将位置参数第 5 个之后的内容${:5}作为额外参数透传。1.7 QDTrack 训练配置解读以 configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py 为例它通过_base_继承了两部分内容_base_ [ ./qdtrack_faster-rcnn_r50_fpn_4e_base.py, ../_base_/datasets/mot_challenge.py, ]其中 configs/base/datasets/mot_challenge.py 定义了 MOT17 数据集的加载方式data_root data/MOT17/、图像尺寸img_scale (1088, 1088)并使用UniformRefFrameSample采样参考帧、通过TransformBroadcaster对关键帧与参考帧施加相同的随机缩放/裁剪/翻转等数据增强最后用PackTrackInputs打包见 mot_challenge.py。QDTrack 配置还设置了双重评估器val_evaluator [ dict(typeCocoVideoMetric, metric[bbox], classwiseTrue), dict(typeMOTChallengeMetric, metric[HOTA, CLEAR, Identity]) ]即同时用CocoVideoMetric评估检测质量bbox AP与MOTChallengeMetric评估跟踪质量HOTA / CLEAR / Identity并设置randomness dict(seed6)固定随机种子以保证结果可复现。二、测试现有跟踪模型本节介绍如何在受支持的数据集上测试现有跟踪模型支持以下测试环境CPU单 GPU单节点多 GPU多节点同样可以使用 Slurm 管理测试作业。2.1 测试前须知重要约定权重加载的三条途径--checkpoint/--detector/--reid在 MOT 任务中不同算法的权重加载方式不同需要分别加载 ReID 与检测器权重DeepSORT、SORT、StrongSORT等算法使用--detector和--reid两个参数分别加载不需要 ReID 权重ByteTrack、OCSORT、QDTrack等算法使用--checkpoint加载即可。从 tools/test_tracking.py 的源码实现可以看到--checkpoint通过cfg.load_from注入配置并整体加载而--detector与--reid则分别调用load_checkpoint(model.detector, args.detector)和load_checkpoint(model.reid, args.reid)直接加载到模型子模块上。此外脚本做了互斥校验--checkpoint不能与--detector/--reid同时出现否则抛出AssertionError。两种测试模式基于视频与基于图像仓库提供了两种评估/测试方式基于视频的测试将整个视频序列送入模型适合 StrongSORT、Mask2Former 等算法基于图像的测试逐帧独立推理显存占用更小。有些算法如 StrongSORT、Mask2Former只支持基于视频的测试。如果 GPU 内存无法容纳整个视频可以通过切换采样器类型来改用基于图像的测试# 基于视频的测试 samplerdict(typeDefaultSampler, shuffleFalse, round_upFalse) # 基于图像的测试 samplerdict(typeTrackImgSampler)TrackImgSampler是 MMDetection 为跟踪任务实现的图像级采样器源码见 track_img_sampler.py其设计动机从源码注释中可以直接看到在测试模式下默认 PyTorch 采样器一次会输出一整段视频整段视频送入数据管线将消耗大量显存MOTChallenge17 数据集上通常需要 ≥20G 显存而TrackImgSampler保证每次只向数据管线送入一张图像在训练模式下它保证一个 epoch 内视频中的每张图像恰好被随机采样一次。在 configs/base/datasets/mot_challenge.py 中可以看到MOT17 的 val/test dataloader 默认使用TrackImgSampler图像级采样注释中也给出了切换为视频级采样的方法。结果保存路径outfile_prefix可以通过修改 evaluator 中的outfile_prefix关键字来设置结果保存路径例如val_evaluator dict(outfile_prefixresults/sort_mot17)如果未设置outfile_prefix评估过程会创建一个临时文件评估结束后自动删除。仅格式化不评估format_onlyTrue如果只需要格式化输出结果而不进行指标评估可以设置format_onlyTrue例如test_evaluator dict(typeMOTChallengeMetric, metric[HOTA, CLEAR, Identity], outfile_prefixsort_mot17_results, format_onlyTrue)该参数在 MOTChallengeMetric 中有明确定义format_onlyTrue时仅将结果格式化为官方提交格式并保存不执行评估计算。2.2 在 CPU 上测试与训练一致模型默认在 CUDA 上运行只有在没有 CUDA 设备时才回退到 CPU。在 CPU 上测试需要先禁用 GPU 可见性CUDA_VISIBLE_DEVICES-1 python tools/test_tracking.py ${CONFIG_FILE} [optional arguments]在 CPU 上测试 MOT 模型 SORT 的示例CUDA_VISIBLE_DEVICES-1 python tools/test_tracking.py configs/sort/sort_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py --detector ${CHECKPOINT_FILE}注意这里 SORT 需要的是检测器权重因此使用--detector而非--checkpoint。2.3 在单 GPU 上测试在单 GPU 上测试可以直接使用tools/test_tracking.pypython tools/test_tracking.py ${CONFIG_FILE} [optional arguments]可以通过export CUDA_VISIBLE_DEVICES$GPU_ID选择 GPU。在单 GPU 上测试 MOT 模型 QDTrack 的示例CUDA_VISIBLE_DEVICES2 python tools/test_tracking.py configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py --detector ${CHECKPOINT_FILE}若使用 QDTrack 完整权重也可以直接改用--checkpoint ${CHECKPOINT_FILE}。2.4 在单节点多 GPU 上测试仓库提供了 tools/dist_test_tracking.sh 用于在多个 GPU 上启动测试基本用法bash ./tools/dist_test_tracking.sh ${CONFIG_FILE} ${GPU_NUM} [optional arguments]在单节点多 GPU 上测试 MOT 模型 DeepSORT 的示例bash ./tools/dist_test_tracking.sh configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py 8 --detector ${CHECKPOINT_FILE} --reid ${CHECKPOINT_FILE}示例同时传入--detector与--reid这正是 DeepSORT 这类「检测器 ReID 模型」两级架构的典型用法。与训练脚本相同tools/dist_test_tracking.sh 内部通过torch.distributed.launch启动多进程并将--launcher pytorch传给test_tracking.py。2.5 在多个节点上测试多节点测试与「多节点训练」的流程类似在每台机器上设置NNODES、NODE_RANK、PORT、MASTER_ADDR环境变量后运行dist_test_tracking.sh即可这里不再重复。2.6 使用 Slurm 进行测试在 Slurm 管理的集群上可以使用 tools/slurm_test_tracking.sh 提交测试作业支持单节点与多节点测试。基本用法[GPUS${GPUS}] bash tools/slurm_test_tracking.sh ${PARTITION} ${JOB_NAME} ${CONFIG_FILE} [optional arguments]与训练版本相比测试脚本没有 WORK_DIR 位置参数GPUS通过环境变量传入默认 8第 4 个位置参数之后的内容${:4}全部作为额外参数透传给 tools/test_tracking.py见 slurm_test_tracking.sh。使用 Slurm 测试 VIS 模型 Mask2Former 的示例GPUS8 bash tools/slurm_test_tracking.sh \ mypartition \ vis \ configs/mask2former_vis/mask2former_r50_8xb2-8e_youtubevis2021.py \ --checkpoint ${CHECKPOINT_FILE}该示例展示了 VIS视频实例分割任务如何使用跟踪测试管线Mask2Former 是典型的「只支持基于视频测试」的模型其配置位于 configs/mask2former_vis/含 YouTube-VIS 2019/2021 多套配置测试时通过--checkpoint加载完整权重。三、跟踪评估指标与采样机制的原理解读3.1 MOTChallengeMetricHOTA / CLEAR / Identity跟踪评估的默认指标由 MOTChallengeMetric 提供支持HOTA、CLEAR、Identity三类指标默认全部启用HOTAHigher Order Tracking Accuracy衡量检测、关联与定位的综合精度CLEAR包含 MOTA多目标跟踪准确率等经典指标Identity包含 IDF1 等身份保持相关指标。该 metric 的构造函数还支持track_iou_thr跟踪评估的 IoU 阈值默认 0.5、benchmark评估基准可选MOT15/MOT16/MOT17/MOT20/DanceTrack默认MOT17、postprocess_tracklet_cfg轨迹后处理如InterpolateTracklets轨迹插值支持min_num_frames、max_num_frames、use_gsi、smooth_tau等参数以及前文提到的outfile_prefix和format_only。3.2 数据采样的取舍何时用视频级何时用图像级结合前文与源码track_img_sampler.py可以给出如下实践建议场景推荐采样器原因显存充足、算法依赖时序信息StrongSORT、Mask2Former VISDefaultSampler(shuffleFalse, round_upFalse)视频级需要整段视频的时序上下文做关联/掩码传播显存有限、或希望逐帧独立推理TrackImgSampler图像级每次仅处理一帧MOT17 全视频评估可节省大量显存训练阶段的 QDTrack 等算法在 mot_challenge.py 中默认使用TrackImgSampler保证一帧一采样且整段视频每帧在一个 epoch 内恰被采样一次。四、快速参考命令速查表场景命令CPU 训练 QDTrackCUDA_VISIBLE_DEVICES-1 python tools/train.py configs/qdtrack/qdtrack_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py单 GPU 训练CUDA_VISIBLE_DEVICES2 python tools/train.py ${CONFIG_FILE}单节点多 GPU 训练bash ./tools/dist_train.sh ${CONFIG_FILE} 8单节点双作业训练CUDA_VISIBLE_DEVICES0,1,2,3 PORT29500 ./tools/dist_train.sh ${CONFIG_FILE} 4另一作业用PORT29501与CUDA_VISIBLE_DEVICES4,5,6,7多节点训练NNODES2 NODE_RANK0 PORT$MASTER_PORT MASTER_ADDR$MASTER_ADDR bash tools/dist_train.sh $CONFIG $GPUSSlurm 训练PORT29501 GPUS_PER_NODE8 SRUN_ARGS--quotatypereserved bash ./tools/slurm_train.sh mypartition mottrack ${CONFIG_FILE} ./work_dirs/QDTrack 8CPU 测试 SORTCUDA_VISIBLE_DEVICES-1 python tools/test_tracking.py configs/sort/sort_faster-rcnn_r50_fpn_8xb2-4e_mot17halftrain_test-mot17halfval.py --detector ${CHECKPOINT_FILE}单 GPU 测试 QDTrackCUDA_VISIBLE_DEVICES2 python tools/test_tracking.py ${CONFIG_FILE} --checkpoint ${CHECKPOINT_FILE}单节点多 GPU 测试 DeepSORTbash ./tools/dist_test_tracking.sh ${CONFIG_FILE} 8 --detector ${CHECKPOINT_FILE} --reid ${CHECKPOINT_FILE}Slurm 测试 Mask2Former VISGPUS8 bash tools/slurm_test_tracking.sh mypartition vis configs/mask2former_vis/mask2former_r50_8xb2-8e_youtubevis2021.py --checkpoint ${CHECKPOINT_FILE}混合精度训练在任意训练命令后追加--amp自动学习率缩放在任意训练命令后追加--auto-scale-lr需配置含auto_scale_lr字段五、相关资源索引训练入口tools/train.py跟踪测试入口tools/test_tracking.py分布式训练/测试脚本tools/dist_train.sh、tools/dist_test_tracking.shSlurm 训练/测试脚本tools/slurm_train.sh、tools/slurm_test_tracking.sh示例配置configs/qdtrack/、configs/sort/、configs/mask2former_vis/、configs/base/datasets/mot_challenge.py采样器实现track_img_sampler.py评估指标实现mot_challenge_metric.py、coco_video_metric.py在线演示脚本MOT 推理demo/mot_demo.py赞分享人工智能计算机视觉深度学习模型评测【免费下载链接】mmdetectionOpenMMLab Detection Toolbox and Benchmark项目地址https://gitcode.com/gh_mirrors/mm/mmdetection点击查看免费下载相关推荐mmdetection 中的 DeepSORT 多目标跟踪配置解析、模型训练与 MOT17 评测实战mmdetection 中的 DeepSORT 多目标跟踪配置解析、模型训练与 MOT17 评测实战 导读 DeepSORTSimple Online an人工智能计算机视觉深度学习模型评测MMDetection 视频多目标跟踪MOT/VIS训练与测试完全指南从 CPU 单卡到多机 Slurm 的工程实践MMDetection 视频多目标跟踪MOT/VIS训练与测试完全指南从 CPU 单卡到多机 Slurm 的工程实践 导读 本文基于 MMDetectio人工智能计算机视觉深度学习模型评测mmdetection 中的 QDTrack 多目标跟踪实现Quasi-Dense 相似度学习原理、配置与训练实战mmdetection 中的 QDTrack 多目标跟踪实现Quasi Dense 相似度学习原理、配置与训练实战 导读 本文以 mmdetection 仓库人工智能计算机视觉深度学习模型评测创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考