EmbodiedScan数据集代码架构地图registry、结构体与数据流一次看懂【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan想快速上手 EmbodiedScan 数据集却迷失在复杂的代码目录里这篇 EmbodiedScan 数据集代码架构地图将带你用找路的视角一次性看懂 registry 注册机制、核心结构体与完整数据流。作为 CVPR 2024 与 NeurIPS 2024 收录的多模态三维感知套件EmbodiedScan 不仅包含 5k 扫描、100 万 RGB-D 视角与语言提示其基于 MMEngine/MMDetection3D 的工程架构也极具学习价值。架构总览EmbodiedScan 代码库的三大支柱整套代码围绕三个问题展开模块怎么找、数据怎么装、数据怎么流。答案分别是 registry注册表、structures结构体与 pipeline数据流水线它们分别位于embodiedscan/registry.py、embodiedscan/structures/与embodiedscan/datasets/中。Registry 注册机制模块的中央户口本registry.py 是所有模块的注册中心。它从 mmengine 继承六大注册表并指定了每个模块的搜索位置MODELS模型定位到embodiedscan.modelsDATASETS数据集定位到embodiedscan.datasetsTRANSFORMS数据变换定位到embodiedscan.datasets.transformsMETRICS评测指标定位到embodiedscan.eval这意味着配置文件中写typeEmbodiedScanDataset时MMEngine 会自动在对应位置找到并实例化该类。想要扩展新模块只需继承基类并加上REGISTRY.register_module()装饰器即可无需改动任何调用方代码。核心结构体3D 数据的基本单位数据进入代码后会被包装成统一的结构体对象点云structures/points/base_points.py中的BasePoints是所有点云类的基类坐标存于tensor中提供coord、height等属性访问接口。3D 框structures/bbox_3d/euler_depth_box3d.py中的EulerDepthInstance3DBoxes是 EmbodiedScan 的招牌结构每行记录(x, y, z, 尺寸, alpha, beta, gamma)共 9 维参数因此任务名中常出现 9dof。坐标系box_3d_mode.py与coord_3d_mode.py定义了 DEPTH、CAMERA、LIDAR 等坐标模式及互相转换逻辑。数据流全景从原始扫描到训练样本以多视角三维检测配置 mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py 为例数据流分为三个关键阶段阶段一数据集解析Dataset 层embodiedscan_dataset.py 中的EmbodiedScanDataset读取 pkl 标注文件在parse_data_info中完成关键预处理计算深度缩放系数、将相机外参对齐到全局坐标系、构造depth2img投影字典。训练时还会通过process_metainfo建立 284 类别的标签映射表。阶段二多视角流水线Pipeline 层这是 EmbodiedScan 数据流最有特色的部分核心实现于 multiview.pyMultiViewPipeline从一整个扫描的众多视角中采样 n 帧训练 20 帧、测试 50 帧逐帧执行加载 RGB、加载深度、转点云等子变换AggregateMultiViewPoints把各帧相机坐标系的点云通过外参变换聚合成全局场景点云ConvertRGBDToPoints与PointSample完成 RGB-D 到点云的转换与下采样默认 10 万点最后经RandomFlip3D、GlobalRotScaleTrans等数据增强由Pack3DDetInputs打包成模型输入。阶段三模型推理与评测打包好的数据进入SparseFeatureFusionSingleStage3DDetector稀疏特征融合检测器其 MinkResNet 稀疏骨干与 FCAF3D 检测头协同工作最终由IndoorDetMetric完成评测。整个训练/测试入口位于 tools/train.py 与 tools/test.py。四类任务一图流检测、接地、占用全覆盖三维检测configs/detection/下提供多视角与连续扫描两种方案输出 284 类 9dof 框视觉接地Visual Groundingconfigs/grounding/将文本提示与三维特征融合实现指哪打哪语义占用configs/occupancy/预测 80 类密集占用网格。每类任务都有独立的数据集类、检测头与评测指标例如 embodiedscan/datasets/mv_3dvg_dataset.py 服务于多视角三维视觉接地任务。动手实践三步跑通你的第一个实验克隆仓库并按 install.py 安装依赖含 MinkEngine、PyTorch3D参考 data/README.md 下载并组织数据直接运行python tools/train.py configs/detection/mv-det3d_8xb4_embodiedscan-3d-284class-9dof.py开始训练。写在最后EmbodiedScan 的代码架构遵循 MMDetection3D 的成熟范式registry 解耦模块、结构体统一数据、pipeline 串联流程。掌握了这三条主线无论你是想复现基准、扩展新任务还是仅仅想深入理解多模态三维感知的工程实现都能在这张架构地图中快速找到自己的位置。建议再配合 tutorial.ipynb 动手体验数据可视化让理解更进一步。【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考