Project Lyra架构深度剖析从视频扩散模型到3D高斯Splatting的技术演进【免费下载链接】lyraProject Lyra: Open Generative 3D World Models项目地址: https://gitcode.com/gh_mirrors/lyra17/lyraProject Lyra是一款突破性的开源3D场景生成工具它通过视频扩散模型自蒸馏技术实现了从单张图像或视频到3D高斯Splatting3DGS表示的高效转换。这一创新框架不仅消除了传统3D重建对多视角数据的依赖还为游戏开发、机器人导航等领域提供了实时渲染的虚拟环境解决方案。核心技术架构连接2D生成与3D表示的桥梁Lyra的架构核心在于自蒸馏框架它将视频扩散模型中隐含的3D知识提炼为显式的3D高斯Splatting表示。这一过程通过两个关键组件实现视频扩散模型视觉想象力的引擎Lyra采用基于GEN3C的视频扩散模型作为前端能够从文本或单张图像生成多视角视频。模型通过相机控制的视频生成模拟场景漫游为后续3D重建提供丰富的视角信息。在Lyra-1中扩散模型通过cosmos_predict1/diffusion/inference/gen3c_single_image_sdg.py脚本生成多视角视频潜变量这些潜变量包含场景的空间布局信息。3D高斯Splatting解码器从2D到3D的转化器解码器模块负责将2D视频潜变量转换为3D表示。它通过RGB监督信号训练3DGS解码器使模型能够直接从扩散模型输出中学习3D结构。在Lyra-1/configs/inference/目录下的配置文件如3dgs_res_704_1280_views_121.yaml定义了不同分辨率和视角数量的3DGS参数支持从静态场景到动态场景的全面覆盖。图1Lyra生成的高质量3D场景展示了从单张图像到3D高斯Splatting的转换效果技术演进从Lyra-1到Lyra-2的跨越Lyra-1奠定基础的自蒸馏框架Lyra-1通过单阶段训练实现了3D场景生成其核心流程包括使用视频扩散模型生成多视角训练数据通过sample.py脚本运行3DGS解码器重建场景支持静态图像输入lyra_static.yaml和动态视频输入lyra_dynamic.yaml关键创新点在于消除多视角数据依赖通过scripts/bash/static_sdg.sh和dynamic_sdg.sh脚本自动生成训练所需的合成数据。Lyra-2长程一致性与动态场景增强Lyra-2引入自回归推理流水线Lyra-2/lyra_2/_src/inference/lyra2_ar_inference.py解决了长轨迹生成中的空间遗忘和时间漂移问题。新特性包括稀疏3D缓存Sparse3DCache通过深度信息优化相机轨迹预测DA3深度估计集成Depth Anything V3模型提升深度预测精度动态相机姿态优化支持6自由度相机运动增强场景探索能力图2Lyra-2动态场景生成效果展示了复杂相机轨迹下的3D一致性实际应用从代码到3D世界的实现路径快速上手单图像到3D场景的转换使用Lyra将单张图像转换为3D场景仅需两步生成多视角视频潜变量CUDA_HOME$CONDA_PREFIX PYTHONPATH$(pwd) torchrun --nproc_per_node1 cosmos_predict1/diffusion/inference/gen3c_single_image_sdg.py \ --checkpoint_dir checkpoints \ --input_image_path assets/demo/static/diffusion_input/images/00172.png \ --video_save_folder assets/demo/static/diffusion_output_generated运行3DGS解码器accelerate launch sample.py --config configs/demo/lyra_static.yaml高级功能动态场景与相机轨迹控制Lyra-2支持自定义相机轨迹通过Lyra-2/assets/custom_trajectory_examples/目录下的轨迹文件如trajectory.npz用户可定义复杂的场景漫游路径。结合lyra2_ar_inference.py中的自回归推理实现长序列视频的3D一致性生成。性能优化平衡质量与效率的工程实践Lyra在保持高质量输出的同时通过多种优化策略降低计算资源需求模型卸载支持将扩散模型、VAE等组件动态卸载到CPU--offload_diffusion_transformer等参数分层渲染3DGS解码器采用渐进式训练策略在train.sh脚本中实现多分辨率模型的逐步优化内存管理通过Sparse3DCache和层间卸载技术将峰值内存控制在43GB以内H100/A100 GPU图3Lyra在不同分辨率配置下的3D重建效果展示了质量与效率的平衡未来展望迈向更智能的3D生成Lyra项目仍在快速演进未来将重点突破多模态输入融合文本描述与图像引导的3D生成实时交互通过Lyra-2/gui/目录下的交互界面实现3D场景的实时编辑物理一致性增强场景的物理属性支持机器人仿真等工业应用通过持续优化视频扩散模型与3D表示的桥梁技术Lyra正逐步实现从生成视觉到生成世界的跨越为元宇宙、数字孪生等前沿领域提供强大的技术支撑。要开始使用Lyra可通过以下命令克隆仓库git clone https://gitcode.com/gh_mirrors/lyra17/lyra详细安装指南请参考INSTALL.md和Lyra-2/INSTALL.md。【免费下载链接】lyraProject Lyra: Open Generative 3D World Models项目地址: https://gitcode.com/gh_mirrors/lyra17/lyra创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考