「PGGO联合优化位姿与稠密几何」目录01 内存条件坐标PGGO双核心架构拆解1.1 内存条件动态坐标系破除首帧锚定尺度枷锁1.2 PGGO位姿-几何联合优化后端统一迭代修正1.3 四模式分阶段训练适配长短场景推理02 三类长序列SLAM性能分层03 数据集定量实验3.1 户外KITTI、Waymo长序列测试3.2 室内Replica、7-Scenes、TUM RGB-D基准4.3 PGGO消融实验04 写在最后当下基于几何Transformer的稠密SLAM普遍存在致命规模瓶颈不管是VGGT系列还是初代SLAM-Former都存在固定坐标绑定、长序列误差持续累积的硬伤。VGGT-Long采用子地图拼接思路仅单独对齐相机位姿局部几何结构完全不参与联合优化长距离路段会出现点云撕裂、地图坍塌初代SLAM-Former依赖首帧全局坐标系序列越长KV缓存膨胀越严重泛化能力完全被训练集轨迹尺度限制千米级道路重建极易出现全局错位。清华大学赵行教授团队MARS Lab推出SLAMFormer-∞业内首款真正无距离上限的几何Transformer SLAM。它放弃传统首帧锚定建模引入内存条件动态坐标系前端维持轻量化局部增量跟踪后端新增位姿-几何图联合优化PGGO模块实现任意超长轨迹位姿、稠密点云同步迭代修正。实测可稳定完成17公里城市连续建图在KITTI、Waymo户外数据集与Replica、7-Scenes室内基准上轨迹误差、重建精度全面领先同类型Transformer方案解决长序列地图坍塌、局部几何失真两大工程痛点。01 内存条件坐标PGGO双核心架构拆解整套系统分为条件式增量前端、迭代全局后端两大模块核心创新为内存条件动态坐标系、位姿几何图优化PGGO搭配四种适配长短场景的训练模式兼顾实时跟踪与大规模全局重建。1.1 内存条件动态坐标系破除首帧锚定尺度枷锁传统SLAM Transformer把全部帧绑定在第一帧固定世界坐标SLAMFormer-∞彻底重构建模公式引入内存锚定上下文作为局部参考基准不再依赖全局固定原点。简化建模公式解读传统SLAM-Former建模全部图像共用单一全局坐标系SLAMFormer-∞建模每一段窗口以历史内存锚作为局部坐标基准。前端、后端均在局部条件坐标系完成推理仅通过内存锚传递全局几何约束。推理时选取相邻关键帧窗口作为条件块Transformer注意力仅限定在局部窗口内不会加载全序列图像Token从根源控制显存占用。窗口可动态滑动扩容理论上不存在轨迹长度上限17公里超长序列仅分段加载局部上下文即可稳定运行。图| SLAMFormer-∞完整流水线示意图前端推理公式仅加载当前帧邻近历史窗口内存锚条件增量跟踪全程因果计算保障单帧实时性后端公式读取多段相邻条件块执行跨窗口全局迭代优化。内存锚会持续更新存储优化后的位姿、点云Token作为下一段窗口的参考基准实现长距离信息无损传递。1.2 PGGO位姿-几何联合优化后端统一迭代修正过往方案后端只优化相机位姿稠密点云固定不变几何误差无法消除。SLAMFormer-∞提出PGGO图优化框架构建混合图(G(V,E))节点同时包含相机位姿X与三维几何P边分为位姿约束边、几何注意力关联边两类。核心优化目标简化公式代表第 n 帧位姿几何联合状态通过 Transformer 推理输出预测值与初始值做残差最小化。迭代流程分为两步1. 利用 Transformer 前向传播更新联合状态预测2. 阻尼加权更新位姿、直接替换点云避免迭代震荡α为阻尼系数平滑每一轮位姿更新幅度防止迭代过程轨迹跳变。消融实验可见关闭PGGO精细迭代模块后Replica室内场景ATE RMSE从0.052m上涨至0.061曲面噪点、模型断层显著增多室外长序列提升幅度更大KITTI长路段几何错位问题基本消除。1.3 四模式分阶段训练适配长短场景推理为匹配前端实时跟踪、后端全局精修两种推理逻辑论文设计四种共享权重的训练模式仅调整注意力掩码与条件锚注入逻辑一套权重同时适配室内短轨迹、室外超长道路场景。图| SLAMFormer-∞四种训练模式示意图模式1前端训练因果注意力前两帧初始化局部坐标后续帧仅读取历史KV缓存模拟在线增量跟踪模式2基础后端混合注意力无内存条件适配中等长度序列全局粗优化模式3带内存条件后端注入历史锚定块模拟长路段分段优化逻辑模式4多条件精细后端前后双向条件块约束对应PGGO多轮迭代精修流程。室内、室外采用两套训练配置室内12帧裁剪、长边518室外36帧、长边224分别适配狭小室内高旋转、开阔道路长平移运动48张A100完成10轮训练即可收敛。02 三类长序列SLAM性能分层当前长时序单目稠密重建赛道分为三类技术路线从长序列稳定性、几何联合优化、显存开销、超长泛化四个维度横向对比客观看待SLAMFormer-∞的优势与边界。1. 子地图拼接类VGGT-Long、VGGT-SLAM优势单段子图推理压力小易部署短板仅优化位姿、几何不修正长距离地图坍塌风险高17公里测试直接失效KITTI平均ATE 26.358m。2. 初代单全局TransformerSLAM-Former优势位姿、几何同步建模室内精度顶尖短板固定全局坐标系超长轨迹泛化崩盘显存随序列长度爆炸无法处理数公里车载场景。3. SLAMFormer-∞独有竞争力内存动态坐标解除轨迹长度限制PGGO实现位姿几何双向迭代修正分段局部注意力控制显存17公里城市连续建图无坍塌KITTI平均ATE降至23.011mWaymo数据集平均误差1.813m同赛道最优。图| KITTI多序列重建定性对比图03 数据集定量实验实验分为户外大规模道路、室内小型场景、PGGO消融三组指标只解读工程实际意义不单纯堆砌SOTA标签。3.1 户外KITTI、Waymo长序列测试图| KITTI里程数据集跟踪结果表KITTI全部序列平均ATEVGGT-Long 26.358mSLAMFormer-∞ 23.011m剔除高速01序列后平均误差低至15.653m08、09等长路段提升幅度最明显这类道路连续数千米无强回环传统方案漂移持续累积。图| Waymo城市分段跟踪结果表Waymo多速度、多车流分段平均RMSE从VGGT-Long 1.996m降至1.813m低速小区、高速主干道、拥堵路段全部稳定领先。指标局限数据集道路环境规整无极端陡坡、连续隧道场景真实山区、地下长隧道误差涨幅会变大。定性效果看VGGT-Long重建道路边线、建筑轮廓扭曲SLAMFormer-∞经过PGGO联合优化路面、墙体曲面连续无分层长距离地图不会出现撕裂断层。3.2 室内Replica、7-Scenes、TUM RGB-D基准图| 室内场景跟踪重建结果表室内场景轨迹短不存在超长尺度问题初代SLAM-Former依靠全局全注意力精度小幅领先SLAMFormer-∞关闭PGGO精细迭代后误差上升说明迭代优化对短场景增益有限但在7-Scenes真实室内场景仍优于VGGT-SLAMATE从0.068m降至0.046m。落地提示该架构核心优势是公里级超长户外场景室内小规模重建有更轻量化替代方案优先用于自动驾驶、低空巡检长时序建图场景。4.3 PGGO消融实验有无精细迭代模块对比Replica数据集带PGGO ATE 0.052m移除后0.061m重建精度、完整性、倒角距离同步变差。图| PGGO精细阶段室内重建对比图直观体现未迭代模型墙面、桌面存在大量噪点凸起迭代后曲面平滑物体边缘轮廓清晰证明位姿、几何同步迭代能修复局部微小畸变。04 写在最后几何Transformer SLAM此前长期困在“短序列高精度、长序列易崩塌”的二元矛盾中SLAMFormer-∞通过内存条件动态坐标系打破首帧锚定的尺度束缚搭配PGGO位姿-几何联合迭代优化补齐了长时序场景几何校正的缺失环节。从17公里城市自建数据集的实测结果来看它首次让单目稠密Transformer真正具备无限长轨迹重建能力为自动驾驶、低空巡检大范围三维地图自动化生成提供了全新单目技术路线。但这套方案主打离线大规模建图实时车载定位、多传感器融合仍有优化空间后续叠加视觉-激光融合、轻量化回环模块会进一步拓宽落地边界。Ref论文标题SLAMFormer-∞: Infinite SLAM Transformer for Unbounded Frontend and Backend Processing论文链接https://arxiv.org/pdf/2608.03429项目地址https://tsinghua-mars-lab.github.io/SLAMFormer-Infinity