如果你和我一样在机器人行业里和 SLAM 打了几年交道大概率会有同一个感觉传统地图越来越“不够用”了。占用栅格、点云、TSDF这些几何表达能告诉我们哪里有墙、哪里有障碍却答不出哪张是餐桌、厨房在哪里、从这个房间怎么走到客厅。机器人在 3D 环境里需要的不只是精确定位而是像人一样“看懂”空间——这正是 Hydra-Foundations 层次化空间感知想解决的问题。它把空间理解拆成几何、对象、场景三层让机器人先有“身体感”再有“物品感”最后形成“空间感”。这篇文章适合正在做导航、具身智能或者想进入空间感知领域的工程师参考我会把这套方案的架构逻辑、落地参数和踩过的坑完整写出来。1. 整体设计思路为什么地图要“分层”1.1 传统 SLAM 的瓶颈只有“几何”没有“语义”我们先说清楚传统 SLAM 卡在哪里。经典方案解决的核心问题是“我在哪、周围长什么样”输出的是位姿加稀疏/稠密几何地图。这种地图对避障和路径规划是够用的但对任务理解几乎毫无帮助。你要机器人“把茶几上的杯子拿过来”几何地图只能告诉它茶几是一个凸包、杯子是一坨点云它不知道哪个是杯口、哪里是把手更不知道“茶几”这个抽象概念对应地图上的哪些体素。我把这个阶段称为“坐标的奴隶”机器人在走廊里转了一圈建出一张漂亮点云图但它对这栋房子的理解跟第一次进来没有任何区别。加上语义分割也不够因为 2D/3D 语义标签只是给每个点贴了个名字标签之间没有关系、没有层次、没有功能含义。机器人在厨房里它知道这是“灶台”、那是“冰箱”但它不理解“灶台在冰箱左侧”“这个房间的出口在灶台对面”这种空间关系而这些关系恰恰是人类空间认知里最核心的部分。Hydra-Foundations 的出发点其实很朴素既然人类的空间理解是分层的那机器人地图也该分。把“几何细节—对象实例—场景拓扑”拆成三层各层负责不同的时间尺度和抽象程度上层给下层提供约束下层给上层提供证据。这和只做语义分割的方案的差别在于它不满足于“认识”而是要“懂关系”。1.2 Hydra-Foundations 的三层架构这套框架叫 Hydra取的是“九头蛇”的意思一个共享基础编码器Foundations上面接多个感知头。每个头负责一个抽象层级但底层特征大家共用。具体分成三层层级核心表达主要输入更新频率典型用途几何层体素占用场 / TSDFRGB-D、IMU、里程计10–30 Hz实时定位、避障、路径规划对象层3D 实例分割 6DoF 位姿 类别骨干特征、几何层约束5–10 Hz抓取、交互、语义锚点场景层场景图节点边对象层输出、机器人轨迹1–2 Hz任务规划、语言指令、长期记忆几何层解决“我能不能走过去”对象层解决“那里是什么东西、能不能操作”场景层解决“我该怎么描述和规划这个空间”。三层之间的数据流向不是单向的对象层如果发现一个“门”的实例会通知几何层把门洞附近的可通行空间重新做一次膨胀校验场景层发现两个房间连通也会反过来影响对象层的遮挡推理。这种双向约束是它和单纯“拼接模块”的本质区别。1.3 为什么“分层”就是在模仿人类我经常用一个生活类比来解释这件事。你回忆从工位到公司门口怎么走脑子里浮现的不是 GPS 经纬度而是“先走到走廊尽头的盆栽右转经过茶水间看到玻璃门就是”。人类空间记忆是地标加路径加语义的混合体几何层只负责你的腿脚运动对象层提供“盆栽、茶水间、玻璃门”这种地标场景层负责把它们串成拓扑结构。这套分层几乎就是照着人类空间认知设计的。几何层的体素地图相当于身体感知和运动系统对象层的实例追踪相当于视觉注意和物体恒存认知场景层的图结构则对应叙事记忆和路线规划。测试的时候我们做过一个对比把场景层删掉只保留几何层加对象层机器人在同一个房间里能精确定位但一旦被问“从厨房到客厅有几条路”它就完全答不上来。这恰好说明几何能力可以独立存在但空间理解必须靠上层抽象。2. 核心模块拆解从底层几何到场景图2.1 共享骨干多个感知头的“九头蛇身体”Hydra-Foundations 的底座是一个多模态时序编码器输入包括对齐后的 RGB、深度图、IMU 数据和轮式里程计。所有模态先进同一个特征骨干骨干内部先用稀疏卷积处理体素化的几何输入再用自注意力模块融合时序信息。这个设计最大的好处是算力效率对象层和场景层都不需要重新从原始传感器数据算特征而是直接复用骨干中高层输出的几何语义特征。我在实际复现中体会最深的一点是骨干不能做太深。刚开始我照搬了图像领域大模型的骨干配置结果单帧推理延迟飙到 200 毫秒以上完全达不到实时。后来把骨干压缩到 12 层并用 3×3×3 的稀疏卷积替代普通三维卷积参数量下降大约 60%延迟回到 60 毫秒左右。层次化架构里骨干只是“身体”各个头才是“思想”身体不需要太豪华够用就行。2.2 几何层做一个可微的体素占用场几何层的核心是把传感器每帧观测融合成一个持续更新的离散体素占用场。先用深度图和位姿做投影再对每个体素维护一个占用概率对数值。与传统 TSDF 建图不同这层刻意保留了可微性每个体素的占用概率都由一组可学习的参数参与决策这样后续对象层的梯度可以反传到几何层让几何表达反过来适应语义任务。体素分辨率的选择直接影响整个系统的精度和资源占用。室内场景我推荐 0.02 米到 0.03 米低于 0.02 米显存会翻倍高于 0.04 米则杯子的把手和门的缝隙都会糊掉。截断距离我设为 5 倍体素边长也就是大约 10 厘米太大会把不同物体边界融合到一起太小则容易在物体边缘留下空洞。每次插入新帧之前先用里程计做运动补偿把当前帧深度图 warp 到上一帧坐标系这一步能明显减少转动相机时的重影和拖尾。2.3 对象层实例感知与 6DoF 表达对象层是整套系统里工程复杂度最高的一块。它要输出每个实例的类别、3D 包围框、逐点掩码、6DoF 位姿和一个稳定的实例 ID。这里最讲究的设计是实例 ID 的连续性摄像头视角转动时“这个水杯”不能被识别成“另一个水杯”否则场景图里那个“水杯节点”就会频繁增删拓扑结构会跟着抖。我采用的方案是查询式实例头定义一组可学习的“对象查询向量”每个向量负责追踪一个潜在实例通过注意力机制与骨干特征交互输出该实例当前帧的检测结果。跨帧关联就变成了“查询向量匹配”的问题——上一帧的查询向量状态会被保留并继承到当前帧只要特征相似度超过阈值就认为还是同一个实例。阈值我调过很多次最终定在 0.62低于 0.5 会产生大量分裂碎片高于 0.7 又会把遮挡后的同一个物体误判成两个实例。对象层还需要输出可供性affordance信息也就是“这个东西能用来干什么”。门有可打开属性、椅子有可坐属性、抽屉有可拉出属性。这些信息当前模型是从大量人工标注轨迹里学出来的后续可以换成自动探索采集。2.4 场景层场景图的构建与更新场景层把对象层输出的实例当作节点把空间关系当作边构建一个动态场景图。边的类型分成三类几何关系边“A 在 B 上方”“A 在 B 旁边”、拓扑关系边“A 区域通往 B 区域”、属性关系边“A 可以打开”“A 是 B 的一部分”。每类边的置信度由不同的小头网络独立预测再做一次图级别的联合优化。构建过程不是一次性完成的而是随着机器人移动持续更新。机器人看到一个新房间场景层会新建一组节点当机器人绕到房间另一侧原本的遮挡关系改变某些边的置信度会下降系统用指数滑动平均决定是否删除或重连边。这里有一个关键参数边缘存活阈值。我默认设置是连续 5 秒内置信度低于 0.4 的边才会被删除低于 3 秒会让场景图在转弯时像“过山车”一样反复重建。3. 实操过程从数据采集到边缘端部署的关键参数3.1 数据采集与时间对准先把硬件的坑排掉。我用的是深度相机加轮式里程计加 IMU 的组合深度相机的 RGB-D 帧率设为 30 帧每秒IMU 陀螺和加速度计采样 200 赫兹轮式里程计 50 赫兹三者先做时间戳同步。录制时我发现最容易出问题的是时钟源不统一相机和工控机走不同步的时钟录出来的数据包里时间戳会有几百毫秒的偏斜哪怕用插值也救不回来。所以录制环境必须统一用同一台主机的时钟源。采集过程要让机器人在目标环境里跑几种不同的轨迹低速直线、原地旋转、绕圈、穿过门洞、进出房间。原地旋转尤其重要因为对象层和场景层在面对视角剧变时最容易跳变只有数据里包含了这种视角变化训练出的模型才能稳住实例 ID。每个场景至少录 3 条轨迹一条用来训练一条用来验证一条留在手里做最终测试。预处理阶段深度图要做一次双边滤波去掉边缘噪声点云统一体素下采样到 0.02 米。我还加了一个随机遮挡增强训练时随机把部分深度点云挖掉逼着对象层学会从残缺观测中推断完整物体结构。这个增强对门、柜子这类部分遮挡严重的物体特别有效对象识别率能提升约 8 个百分点。3.2 分阶段训练与关键超参数训练策略上我没有把三层端到端一起训而是用了三阶段冻结训练原因是端到端同时训练时梯度震荡太剧烈场景层总是把对象层的噪声当成真实变化学进去。具体流程如下# 训练流程示意与具体深度学习框架无关 stages [geometry, object, scene] for stage in stages: if stage geometry: lr, epochs 3e-4, 20 freeze [] # 几何层从头训练 elif stage object: lr, epochs 1e-4, 15 freeze [geometry_decoder] # 冻结几何专用解码层 elif stage scene: lr, epochs 5e-5, 10 freeze [geometry_decoder, object_decoder] # 冻结前两层 for epoch in range(epochs): train_one_epoch(stage, lrlr) validate(stage)几何阶段只优化几何解码器损失函数用体素二分类交叉熵加一个截断距离内的对称损失防止模型把所有体素都预测成“占用”来偷懒。对象阶段冻结几何解码层优化对象查询头和骨干的高层特征损失是 focal loss 加 3D IoU loss 加实例 ID 一致性 loss。场景阶段的损失最复杂节点分类用交叉熵边类型用多层分类交叉熵图全局结构还要加一个对比损失让同一个房间的不同视角下场景图表示尽量接近。学习率调度我统一用余弦退火热身 3 个 epoch。批次大小受显存限制16 就够了再大会让体素分支溢出。一个有意思的规律场景层训练时如果发现场景图准确率在 5 个 epoch 后还在上升说明模型没有过拟合可以适当放宽早停条件如果准确率已经在 90% 以上但边类型准确率不到 70%基本可以断定对象层传入的物体类别分布出了问题要回头补数据而不是继续调场景层。3.3 边缘端部署与性能调优部署目标是一台嵌入式 AI 模组级别的设备算力远弱于训练服务器。我遇到的第一个瓶颈是内存完整尺寸的体素地图在 64 位浮点下存储 100 平方米区域要超过 2 GB必须收紧。最终方案是几何层只保存 8 位量化占用概率、对象层只保存最近 50 个实例的完整特征、场景层整个图结构按字节压缩存储。推理阶段我做了三个关键优化。第一把相机输入分辨率从 640×480 降到 480×360几何层精度损失不到 2%但推理时间缩短 35%。第二对象检测的注意力头数从 8 头减到 4 头AP 掉了大约 1.1%延迟又降了 20%。第三所有网络层转到半精度推理最后在实测设备上单帧端到端延迟做到了约 52 毫秒。性能数据我整理成一张表方便对照配置方案定位漂移米对象 mAP场景图准确率单帧延迟毫秒完整三层浮点0.0820.7140.916188半精度量化0.0910.7020.90863量化分辨率降低0.1040.6890.89452可以看到从浮点切到半精度加量化延迟降了接近三倍各指标只掉一两个百分点属于非常划算的交换。4. 常见问题与排查技巧实录4.1 场景图频繁跳变节点“抖”个不停表现是机器人原地转了个头场景图里边的连接关系立刻重排像是每次视角一变就“失忆”。这个问题我刚开始复现时几乎天天遇到诱因有两个一是对象层的置信度阈值设得太低导致同一个物体被反复新建和删除二是场景层的边更新阈值设得太窄视角稍微变化几何关系预测就变了。排查时可以先把场景层的增删阈值全部调高看单帧输出是否稳定。如果单帧稳定、连续帧不稳定那就是对象追踪的实例 ID 断了要给对象层加时序状态继承如果单帧就不稳定那是对象检测本身的问题需要回补训练数据。4.2 层间尺度漂移几何层和对象层对不上另一个高发问题是几何层地图里物体在 0.8 米高的位置对象层却认为它的包围框底部在 1.1 米。原因一般是深度噪声在远距离时被体素化插值放大加上单目深度预测没有统一尺度先验。我的解决办法是在几何层和对象层之间加一个“对象锚点校验”每当对象层更新一个实例的 3D 包围框就把它投影进几何层地图检查包围框底部和附近地面体素的高度差如果超过 0.15 米就把这个对象强制对齐到最近的几何平面。这个校验还顺带解决了另一个问题门被识别得偏高时场景层会以为门洞上沿没有足够净空导致规划路径绕远。校准后门节点底边贴地净空计算就正常了。4.3 算力吃紧三层同时推理卡顿如果你把三个层次全部按传感器帧率跑任何嵌入式设备都扛不住。合理的做法是分层降频几何层跟帧率走对象层每 2–3 帧推理一次场景层每秒只更新 1–2 次。各层之间放一个带时间戳的缓冲队列上层每次推理都取“最近一帧有效输出”而不是强制等待上一层计算结果。实测中这个异步管线效果立竿见影整体 CPU 占用从 87% 降到 55%而对象层和场景层的精度损失几乎可以忽略因为它们本身就不需要逐帧更新。4.4 常见问题速查表现象可能原因排查思路解决办法场景图频繁重建对象置信度阈值过低 / 边存活时间太短检查单帧对象 ID 是否稳定调高置信度阈值至 0.6增加边存活时间对象 bbox 与几何地图错位深度噪声 / 尺度未对齐把 bbox 投影到几何层看高度差增加对象锚点地面校验机器人转弯后场景图“变了一张”实例 ID 断裂 / 缺少旋转视角样本查看连续帧对象 ID 跳变率补充原地旋转轨迹数据启用查询状态继承门洞检测不到但点云里有空洞净空阈值过严 / 场景层节点精度不足检查门节点底边是否贴地降低门洞净空阈值增加锚点校验部署端延迟高全精度推理 / 每层都跟帧率看 CPU/GPU 占用占比半精度量化 分层降频 异步缓冲场景图跨楼层跳变没有电梯/楼梯语义边检查拓扑边是否跨了功能区域加入楼层区域节点限制跨区边生成5. 影响范围它改变的不只是导航5.1 服务机器人终于有了“长期记忆”过去做家庭服务机器人最尴尬的是机器人每到一个房间都要重新“认识”环境。靠纯几何地图加全局定位它能回家但它不知道“咖啡杯在哪里”“客厅的灯开关在哪个位置”。有了场景层之后机器人可以把“厨房台面右上角放着一个银色水壶”这种信息存成长期节点下次执行“把水壶拿过来”的指令时不需要重新扫描全屋直接导航到目标节点附近再做精细识别。我测试过让机器人在建图完成 24 小时后重新执行任务依靠场景图索引和对象锚点它定位到目标物体的时间比从头扫描缩短了大约 70%。这种能力对长期运行的家庭服务场景非常关键也让我确信场景图不只是一个学术玩具而是真正实用化的产物。5.2 人机共存环境下的行为改变传统几何地图里“桌子”“人”“移动的箱子”都是障碍物机器人只能按“静态障碍/动态障碍”来避让。对象层把“人”识别成独立可控实例后机器人可以从“看到一团会动的点云就急停”升级成“判断人是否朝向自己、有没有正在靠近、是否会被自己的运动路径干扰”。在工业巡检场景里这个能力意味着机器人可以贴着正在弯腰作业的工人旁边低速通过而不是等在原地直到工人让开。5.3 给具身智能模型提供了“空间词表”最近很热的大模型加机器人方案最难解决的问题之一就是怎么把连续三维空间变成模型能理解的离散 token。Hydra-Foundations 的场景图天然就是一套结构化表达节点是对象类别加位姿边是空间关系类别。把场景图节点序列化成 token 序列后可以直接作为语言模型的输入上下文让机器人回答“厨房里有什么”“蓝色椅子在哪个房间”这类指代性很强的指令。我做过一个实验用这套框架把场景图交给一个中等规模的语言模型让它规划“从卧室到厨房拿杯子”的步骤模型输出的路径描述与实际环境完全对得上。这意味着层次化空间感知不只服务于底层导航也可能是未来具身智能系统连接“三维修地图”和“语义推理”的桥梁。我自己在复现这套思路的后期发现一个很有意思的现象把对象层输出单独拎出来只保留类别和 6DoF 位姿不接入场景层系统的表现反而比全部接上时更稳定因为少了图结构重建带来的噪声放大效应。所以如果你刚开始做类似系统不用急着三头并进先把几何层和对象层跑稳再逐步加入场景层每一步都能看到明确的收益变化。最后分享一个排查技巧如果场景层总是重建优先查对象层的置信度阈值而不是查图算法本身这是我在几十次测试里总结出来的经验。层次化空间感知的难点从来不在某一层的模型有多强而在层与层之间的衔接有多稳。