图 1。WorldCrafter 实现了稳定且由相机控制的探索体验。如重建的点云所示该工具可在静态场景 (a) 与动态场景 (b) 中保持场景外观与结构的连贯性受试者在离开并重新进入视野后仍能保持行为一致性©用户还可仅凭文字描述生成并探索场景 (d)。目录摘要一. 核心机制与模型架构二. 内存编码与读取 (Memory Encoder Readout)三. 模型训练与实时交互蒸馏四. 重要公式五. 实验实验设置记忆能力评估 (Memory Evaluation)相机控制评估 (Camera Control Evaluation)视觉质量评估 (Visual Quality Evaluation)消融实验 (Ablation Study)讨论与总结 (Discussion)标题《WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory》来源腾讯ARC北京大学链接https://drexubery.github.io/WorldCrafter摘要WorldCrafter 是一个视频世界模型旨在解决现有模型在长视野和跨视角下难以保持历史观察一致性的问题。该模型通过学习可查询相机的隐式 3D 感知内存允许请求的视角决定如何将多视图证据压缩到视频生成器有限的 Token 预算中从而实现从单张图像或文本提示进行流式场景探索。一. 核心机制与模型架构基础原理模型基于 Latent Video Diffusion使用 VAE 将视频映射到时空潜在空间从而减少 Diffusion Transformer (DiT) 处理的 Token 序列长度。块状自回归生成为了生成变长视频模型采用分块Chunk-wise自回归方法将长视频分割为固定长度的块并顺序生成。长视野条件化为了实现长视野记忆和用户交互标准自回归流被扩展使得每个数据块的生成都联合条件化于累积历史的记忆M \mathbf{M}M和目标相机轨迹C \mathbf{C}C。相机条件化使用 UCPE 的并行相机注意力分支不直接干扰模型原有的自注意力机制而是针对相机信息采用独立的 Query、Key 和 Value 投影进行注意力计算实现相机条件化该分支对独立的查询、键和值投影进行处理并将其输出通过零初始化ControlNet 中新加的0权重分支相机分支权重逐渐更新投影添加到原始自注意力中。图 2. WorldCrafter 流程。在尚未具备任何历史信息时DiT 视频生成器首先根据相机位姿生成首个帧块。在后续的推演步骤中最大覆盖度历史检索模块基于当前相机位姿筛选潜在帧记忆编码器则将这些帧映射为紧凑的三维感知表征。位姿条件化记忆读取模块提取固定尺寸的记忆token这些token与近期历史信息共同指导当前帧块的生成。生成的帧将被加入历史池用于后续推演过程。二. 内存编码与读取 (Memory Encoder Readout)内存写入 (Memory Writing)内存编码器Φ \PhiΦ将累积的历史潜在帧z h \mathbf{z}^hzh及其对应的相机参数C h \mathbf{C}^hCh编码为一个隐式的 3D 感知表示R \mathbf{R}R输入限制为固定数量的k kk个历史潜在帧从而在不进行显式 3D 重建的情况下聚合几何与外观信息。R Φ ( z h , C h ) ∈ R ∣ z h ∣ L × d \mathbf{R} \Phi(\mathbf{z}^h, \mathbf{C}^h) \in \mathbb{R}^{\vert{}\mathbf{z}^h\vert{} L \times d}RΦ(zh,Ch)∈R∣zh∣L×d最大覆盖历史检索为了控制编码成本模型贪婪地选择k − 1 k-1k−1个互补的历史帧使其联合视场 (FoV) 最大限度地覆盖未来的相机轨迹上的目标区域这比传统的基于成对 FoV 相似度排名的检索提供了更广的覆盖和更高的鲁棒性。无姿态内存读取 (Pose-free Readout)将表示映射为固定集合的内存 Token不依赖即将到来的相机轨迹M Readout ( Φ ( z s , C s ) ) \mathbf{M} \text{Readout}(\Phi(\mathbf{z}^s, \mathbf{C}^s))MReadout(Φ(zs,Cs))姿态引导读取 (Pose-guided Readout)采用一组从未来目标相机轨迹中采样的query poseC q ⊂ C \mathbf{C}^q \subset \mathbf{C}Cq⊂C来查询内存表示将特征映射为固定数量的内存 Token。经验表明这种姿态引导的读取方式比无姿态读取Pose-free readout能更有效地分配固定内存预算从而提供更准确的相机控制。M Readout ( Φ ( z s , C s ) , C q ) \mathbf{M} \text{Readout}(\Phi(\mathbf{z}^s, \mathbf{C}^s), \mathbf{C}^q)MReadout(Φ(zs,Cs),Cq)三. 模型训练与实时交互蒸馏四阶段训练微调 DiT 模型以适应修改后的推理窗口。冻结 DiT 骨干训练基于 UCPE 的相机条件分支以引入相机控制。使用 VAE 潜在表示对内存编码器进行预热适应。联合训练内存读取模块、内存编码器、视频 DiT 和相机条件分支使其相互适应。金字塔蒸馏 (Pyramid Distillation)采用从粗到细的金字塔去噪方案使用 3 个空间分辨率每个分辨率 2 个去噪步骤从而显著减少采样步骤。混合蒸馏模型 (Hybrid Distilled Model训练两个模型)为了平衡视觉保真度和主体跟随能力推理时模型融合了用于1.保留视觉细节的低噪声模型最后一步去噪时使用和用于2.保留主体跟随能力的高噪声模型最开始的去噪步骤使得 WorldCrafter 在 4-GPU 机器上能达到 16 fps 的生成速度。四. 重要公式1.潜在扩散的噪声与目标速度。在条件流匹配Conditional Flow Matching中对于扩散时间t ∼ U ( 0 , 1 ) t \sim \mathcal{U}(0, 1)t∼U(0,1)和高斯噪声ϵ ∼ N ( 0 , I ) \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})ϵ∼N(0,I)加噪的潜在表示和其目标速度定义为z t ( 1 − t ) z t ϵ , v t ∗ ϵ − z \mathbf{z}_t (1 - t)\mathbf{z} t\epsilon, \quad \mathbf{v}^*_t \epsilon - \mathbf{z}zt(1−t)ztϵ,vt∗ϵ−z2.流匹配损失函数。给定文本条件y \mathbf{y}yDiT 模型v θ \mathbf{v}_\thetavθ通过最小化以下损失函数来预测速度L F M E z , t , ϵ [ ∥ v θ ( z t , t ∣ y ) − v t ∗ ∥ 2 2 ] \mathcal{L}_{FM} \mathbb{E}_{\mathbf{z}, t, \epsilon} \left[ \Vert \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{y}) - \mathbf{v}^*_t \Vert_2^2 \right]LFMEz,t,ϵ[∥vθ(zt,t∣y)−vt∗∥22]3.标准块状自回归生成流给定文本条件y \mathbf{y}y和近期历史帧z r \mathbf{z}^rzr标准自回归模型通过以下条件流演化当前潜在状态d z t d t v θ ( z t , t ∣ z r , y ) \frac{\mathrm{d}\mathbf{z}_t}{\mathrm{d}t} \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{z}^r, \mathbf{y})dtdztvθ(zt,t∣zr,y)4.扩展后的长视野自回归流。为了支持长视野内存和相机交互生成过程进一步条件化于内存M \mathbf{M}M和目标相机轨迹C \mathbf{C}Cd z t d t v θ ( z t , t ∣ M , z r , C , y ) \frac{\mathrm{d}\mathbf{z}_t}{\mathrm{d}t} \mathbf{v}_\theta(\mathbf{z}_t, t \mid \mathbf{M}, \mathbf{z}^r, \mathbf{C}, \mathbf{y})dtdztvθ(zt,t∣M,zr,C,y)五. 实验实验设置评测基准 (Benchmark)作者构建了一个专门用于评估长视野视频世界模型的记忆能力、相机控制精度和视觉质量的基准数据集。包含145张起始图像覆盖83个动态以物体为中心的场景和62个静态场景。测试轨迹每张图像配有5条度量尺度的相机轨迹长度在528到1,648帧之间这些轨迹包含闭环重访closed-loop revisits专门用于测试模型在长视野下是否能记住之前观察过的内容。对比基线将 WorldCrafter 及其蒸馏加速版本WorldCrafter-fast与 8 个近期的相机可控视频世界模型如 DreamX-World, Lyra 2.0, SANA-WM 等进行对比。所有生成视频在评估前统一调整为 640 × 384 分辨率。记忆能力评估 (Memory Evaluation)评估方法通过对比“重访同一位置时生成的帧”与“首次访问该位置时的帧”的一致性来衡量记忆能力。性能表现在 MEt3R、LPIPS、PSNR 和 SSIM 四个指标上WorldCrafter 及 fast 版本包揽了前两名。例如相比 Lyra 2.0WorldCrafter 将 LPIPS 从 0.487 降至 0.255PSNR 从 14.050 提升至 18.016 dB。定性分析结合VGGT-Ω 提取的三维点云重建结果显示WorldCrafter 的重访帧与首次观察高度吻合生成的视频能够产生连贯的点云和对齐的相机姿态。图 3. 静态场景中的定性长时域重访对比。各行分别展示首次观测结果、探索过程中的中间视图、匹配的重访结果以及生成视频的点云重建结果。图 4. 动态场景中的定性长时域重访对比。各行分别展示首次观测、探索过程中的中间视图、匹配的重访结果以及生成视频的点云重建结果。相机控制评估 (Camera Control Evaluation)评估方法每隔4帧采样一次视频使用 VGGT-Ω 恢复相机轨迹并进行对齐计算误差。性能表现在旋转误差 (RotErr)、平移误差 (TransErr) 和姿态矩阵差异 (CamMC) 三个指标上WorldCrafter 均取得最低误差即最高精度fast 版本排名第三。视觉质量评估 (Visual Quality Evaluation)评估方法使用 VBench 评估 8 个维度的视觉质量。性能表现模型在 8 个维度中赢得了 5 项最佳。WorldCrafter 获得了最高的综合得分81.910而 WorldCrafter-fast 在时间闪烁Temporal Flickering指标上表现最好证明了其强大的场景一致性和时间连贯性。表3. VBench平台上的视觉质量评估结果。评分基于725条生成视频在自定义输入模式下计算得出。SC、BC、TF、MS、AQ、IQ、DD及OC分别代表主体一致性、背景一致性、时间闪烁性、运动平滑度、美学质量、成像质量、动态程度及整体一致性“总体”列显示VBench综合评分。蓝色渐浅色块依次标示最佳、次佳及第三佳结果。消融实验 (Ablation Study)在进行模型蒸馏前对 WorldCrafter 核心组件进行了消融验证隐式 3D 感知记忆 vs. 上下文记忆直接检索历史帧作为“上下文记忆”会降低重访一致性和相机控制能力。随着重访时间间隔的拉长WorldCrafter 的误差增长明显更缓慢长视野优势显著。联合优化机制与冻结记忆编码器相比将记忆编码器与视频 DiT 进行联合优化Co-adapt能够更快收敛并取得更低的重访误差。记忆读取机制姿态引导Pose-guided读取比无姿态Pose-free读取在记忆保持和相机控制上效果更好。历史检索策略基于最大覆盖率Max-coverage的检索优于基于视场相似度Pairwise FoV similarity的检索。这表明选择能共同覆盖目标区域的“互补视角”比单纯选择“相似视角”更有价值。记忆效率 (Latency/Cost)传统的基于深度估计和空间扭曲的方法如结合 Depth Anything 3处理一个数据块耗时高达 1.346 秒而 WorldCrafter 直接在潜在空间进行记忆编码和读取总耗时仅为 0.062 秒将记忆处理成本降低了 21.7 倍且无需显式的深度估计。讨论与总结 (Discussion)核心贡献提出了一种具有隐式 3D 感知记忆的相机可控自回归视频世界模型。通过学习到的记忆编码器将历史帧聚合为紧凑表示并转换为兼容 DiT 的 Token显著提升了长视野下的重访一致性和相机控制精度。现有局限在极端复杂或极度延长的轨迹下场景一致性仍有可能崩溃。此外在生成每个视频块时都需要重新对历史信息进行编码这引入了额外的延迟。未来方向开发一种自回归的流式记忆编码器autoregressive streaming memory encoder能够将新生成的视频块增量式地融入到现有的记忆状态中从而减少对历史帧的重复计算