论文题目RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation ModelsRT-DETRv4利用视觉基础模型无痛地进一步提升实时目标检测论文版本arXiv:2510.25257v2ECCV 2026摘要实时目标检测通过精心设计的网络架构和优化策略取得了显著进展。然而为追求高速推理而采用的轻量化网络设计往往会削弱特征表征能力阻碍性能的进一步提升及实际端侧部署。本文提出一种低成本且具有高度适应性的蒸馏框架利用快速发展的视觉基础模型Vision Foundation ModelsVFMs的能力增强轻量级目标检测器。由于 VFM 与资源受限检测器在架构和学习目标上存在显著差异要实现稳定且与检测任务相匹配的语义迁移并不容易。为此一方面我们提出深层语义注入模块Deep Semantic InjectorDSI将 VFM 的高层表征引入检测器的深层特征另一方面我们设计梯度引导自适应调制策略Gradient-guided Adaptive ModulationGAM根据梯度范数的比例动态调整语义迁移强度。该方法无需增加部署与推理开销即可在不同的 DETR 系列模型上稳定获得显著的性能提升体现出其实时检测应用价值。我们构建的新模型家族 RT-DETRv4 在 COCO 上取得了领先性能四个规模的 AP 分别为 49.8、53.7、55.4、57.0对应速度为 273、169、124、78 FPS。开源代码GitHub - RT-DETRs/RT-DETRv4: [ECCV 2026] RT-DETRv4: Painlessly Furthering Real-Time Object Detection with Vision Foundation Models · GitHub一、研究背景与核心问题实时检测器面临速度与表征能力的矛盾轻量化有利于高速推理却容易损失高层语义。RT-DETR 以高效混合编码器实现速度—精度平衡D-FINE、DEIM 又改进训练策略。但当结构优化接近效率边界如何不改推理网络却继续提升表征能力作者将症结定位为Semantic Bottleneck语义瓶颈检测损失主要约束最终预测难以充分优化中间深层语义。VFM 虽拥有丰富的预训练知识但跨架构蒸馏还面临特征尺度、语义层级和梯度冲突。论文 Figure 1RT-DETRv4 与其他实时检测器的精度—延迟、精度—参数量对比图中展示的目标是在相近推理耗时和参数规模下提高 AP。关键并非部署基础模型而是仅在训练期借用其语义能力。二、RT-DETRv4 整体框架论文 Figure 2RT-DETRv4 整体结构与训练期语义蒸馏路径RT-DETR 的 Backbone 输出 S3/S4/S5AIFI 对 S5 做自注意力交互得到 F5经 CCFF 跨尺度融合后交给 Decoder 检测。F5 是后续多尺度语义传播的关键。RT-DETRv4 新增训练路径冻结 VFM 提取特征 → DSI 对齐 F5 → GAM 调节损失强度 → 联合检测损失训练。训练结束后VFM 与蒸馏分支全部移除。因此“Painlessly”指不增加推理参数与延迟并非训练零成本。总目标为L_total L_det λL_DSI分别表示检测损失、语义对齐损失及其权重。关键是为什么对齐 F5如何动态调节 λ三、DSI把语义注入到最需要的位置3.1 为什么是深层特征 F5作者从信息瓶颈Information Bottleneck角度解释动机。理想表征既要保留对检测目标 Y 有用的信息也应尽量抑制来自输入图像 X 的冗余纹理与背景干扰其目标可概括为这里Rℓ表示某层特征I(·;·)是互信息β 控制信息压缩与任务预测的权衡。检测损失侧重任务判别VFM 则提供抑制干扰的语义引导这里是方法动机并非严格的互信息证明。论文 Figure 3信息瓶颈视角下的语义注入与背景干扰示意论文 Figure 4对齐 Backbone 多层特征、混合对齐与仅对齐 F5 的三种方案S3 偏向纹理经过 AIFI 的 F5 已拥有全局交互语义。只对齐 F5 可以减少层级冲突并使梯度反传至 AIFI 与 BackboneCCFF 再将增强语义传播至其他尺度。Table 3 和附录 Table E 会验证这一选择。3.2 Feature Projector 与余弦对齐VFM 输出 ViT Patch Tokens检测器输出二维特征。DSI 将教师 Tokens 重排并插值到 F5 的空间尺寸再用 Feature Projector 映射学生通道。论文采用冻结的DINOv3-ViT-Base作为主要教师并选择 Linear Projector。对齐损失采用逐位置的负余弦相似度平均值其中R为投影后的 F5T为插值后的教师特征H、W 为特征图尺寸。该损失使对应位置的特征方向更一致不强制幅值相同重点迁移语义结构。四、GAM根据梯度而不是直觉调节蒸馏强度固定 λ 容易使蒸馏不足或过强。GAM 的思路是直接观察目标层实际获得的梯度占比再调节蒸馏权重。具体地训练第 e 个 Epoch 的每个 Step t统计各模块参数在总损失下的梯度 L1 范数并计算目标模块 AIFI 的梯度占比。一个 Epoch 内取平均得到r̄_e然后以目标占比 ρ 和允许偏差 δ 形成区间在 Epoch 结束时更新 λ占比过高则减小 λ过低则增大 λ落在区间内便保持不变。更新目标是区间边界而非中心点有利于减少振荡逐 Step 统计、逐 Epoch 调权重。ρ 决定监督强度δ 决定敏感度。五、实验结果与消融分析5.1 实验设置与主结果使用COCO 2017 train2017 / val2017报告 APIoU 0.50:0.95、AP50、AP75 和分尺寸 AP延迟使用NVIDIA T4、TensorRT FP16测量。附录 Table A第 21 页列出复现设置各规模均使用 DINOv3-ViT-Base、Patch Size 16 和 768 维 Linear ProjectorS/M/L/X 的主要训练 Epoch 分别为 120/90/50/50另有 EMA 阶段与按规模设置的 GAM 参数。论文 Table 1COCO val2017 主实验包含参数量、GFLOPs、T4 延迟及各项 APRT-DETRv4-S/M/L/X 的 AP 分别达到49.8/53.7/55.4/57.0对应273/169/124/78 FPS。与相同规模的 DEIM 相比分别提升 0.8/1.0/0.7/0.5 AP各对应行的模型参数量、GFLOPs 和推理延迟保持相同。以 L 为例RT-DETRv4-L 在 8.07 ms、31M 参数的条件下达到 55.4 AP高于 DEIM-L 的 54.7 AP。收益来自训练期的表征增强而非推理加算力。5.2 DSI 与 GAM 是否各自有效论文 Table 2在 RT-DETRv2、D-FINE、DEIM 上分别加入 DSI 与 DSIGAM该组消融中DEIM-L 基线为 53.8 AP单独加入 DSI 为 53.9 AP再加入 GAM 则达到 54.3 AP。RT-DETRv2-L 和 D-FINE-L 加入两者后分别提升 0.5 与 0.3 AP。DSI 提供语义信息GAM 增强检测收益该表的训练设置不同于 Table 1基线不可混用。5.3 注入位置、投影器、教师与损失选择论文 Table 3语义注入位置消融对比 S3/S4/S5、多层混合与仅 F5只监督 F5 时 AP 从 53.8 提升至 54.3单独监督浅层或联合监督多层则未形成有效增益。这直接支持“选择语义层级匹配的位置比到处蒸馏更重要”。论文 Table 4Feature Projector 结构消融。Linear Projector 得到 54.3 AP略优于 MLP 的 54.2 AP1×1 Conv 则为 53.8 AP。简单投影器已足以完成跨架构对齐。论文 Table 5MAE、DINOv2、DINOv3 语义教师对比。MAE-ViT-B、DINOv2-ViT-Base、DINOv3-ViT-Base 对应 53.9、54.1、54.3 AP。结果表明该框架能够利用不同 VFM而在所测试教师中 DINOv3 的增益最大并非证明任意更大的教师必然更好。论文 Table 6MSE 与余弦相似度对齐损失对比。在 DEIM-M 的该组实验设置下MSE 对应 52.7 AP而余弦相似度达到 53.7 AP。语义对齐不只是“对齐什么特征”还取决于采用何种几何约束。5.4 为什么要用动态 λ论文 Table 7固定蒸馏权重 λ 与 GAM 的检测性能对比。固定权重的最优结果为 λ 20 时的 55.1 APGAM 达到 55.4 AP。权重偏小不足以有效注入语义偏大又可能扰乱检测任务两端都不如动态调节。论文 Figure 6GAM 与不同固定 λ 的 COCO AP 训练曲线。Figure 6 进一步表明即使最终表现较好的固定 λ 20在中前期收敛上仍存在不足GAM 的优势不仅是最终 AP 更高也包括训练过程更平稳。论文附录 Figure C、Figure DGAM 权重变化与 AIFI 梯度占比演化论文附录 Table C不同蒸馏策略下的 AIFI 及其他模块梯度统计。在附录 Table C 中基线 AIFI 的整体梯度占比为 0.51%采用 DSIGAM 后为 1.80%。结合两张动态图能够看到 GAM 确实在调整深层模块的监督强度而不是仅凭一个固定系数碰运气。论文附录 Table DGAM 的目标占比 ρ、容忍区间 δ 消融。对于这组 DEIM-L 设置ρ 2.0%、δ 0.1%时达到 55.4 AP但附录 Table A 表明不同模型规模采用不同参数不能把这组值视为通用常数。5.5 深层语义是否真的得到增强论文 Figure 5DEIM-L 与 RT-DETRv4-L 的 F5、P3/P4/P5 特征 PCA 可视化。对比可见注入语义后的 F5 更聚焦于目标区域随后传播至多尺度特征物体轮廓与背景的区分也更明显。与监督 F5 的设计一致。论文附录 Table E第 24 页各层特征与 DINOv3 的 CKA 相似度。S3、S4、S5、F5 的 CKA 分别为 0.05、0.30、0.40、0.59说明越靠近 AIFI 输出与教师的表征结构越接近。这给“为什么不直接蒸馏浅层特征”提供了进一步的几何证据。论文附录 Figure A复杂场景下不同检测器的预测对比。论文附录 Figure B基线与 RT-DETRv4-X 的深层特征可视化。两图展示漏检、重复检测和背景干扰下的表征变化但不能替代跨数据集的定量验证。5.6 训练成本与部署边界论文附录 Table B各模型训练 GPU Hours 与单图显存开销对比。**零额外推理成本不等于零训练成本。**附录显示训练 GPU Hours 增加约6.2%–16.3%单图训练显存增加约0.8%–3.3%例如 L 模型由 152.47 增至 166.68 GPU Hours显存由 1.523 增至 1.535 GiB。冻结 VFM 的训练期前向计算仍需资源只是这些开销不会进入最终部署。六、总结与思考一句话概括 RT-DETRv4用冻结 VFM 在训练期精准监督 RT-DETR 的深层语义瓶颈再根据目标模块的梯度占比自适应调节蒸馏强度从而用原推理结构获得更高检测精度。值得记住的不是“用了 DINOv3”本身而是两条可迁移的设计经验一是蒸馏位置要与教师语义层级匹配F5 的有效性同时得到位置消融和 CKA 证据支持二是跨任务监督强度应考虑训练动态GAM 比单一固定 λ 更稳健。从实验范围看论文主要验证 COCO 和相关 RT-DETR 系列检测器其他数据集、不同硬件及更广泛的检测架构仍值得单独评估。其最有价值的工程特点则是训练期充分利用大模型推理期依旧保持小模型。