【免费下载链接】Causal-Forcing[ICML 2026] Official codebase for Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation Causal Forcing项目地址https://gitcode.com/gh_mirrors/ca/Causal-Forcing点击查看免费下载如果你在用 DMDDistribution Matching Distillation蒸馏自回归视频扩散模型多半踩过初始化解锁一半的坑。Causal-Forcing是 ICML 2026 的开源项目 Causal Forcing: Autoregressive Diffusion Distillation Done Right核心主张就是一句话DMD 蒸馏能不能收敛得好取决于你有没有给它一个理论上正确的初始化。这篇文章带你彻底搞懂 Causal-Forcing 的曝光偏差问题并对比 ODE 蒸馏与 AR 扩散两种初始化路线的差异。一张图看懂 Causal Forcing 三阶段训练流水线 ️官方流程图把三代方案摆在一起非常直观方案教师模型初始化方式结论Self Forcing双向教师 ❌ODE 初始化有理论缺陷且开销大Causal ForcingAR 教师 ✅ODE 初始化理论正确但需要构造 ODE 数据Causal ForcingAR 教师 ✅Causal CD因果一致性蒸馏正确、高效、可扩展整体训练分三步见 README.mdStage 1AR Diffusion 训练——先训一个多步自回归扩散模型作为教师支持 framewise / chunkwise 两种粒度Stage 2Causal ODE 或 Causal CD——把教师蒸馏成少步few-step初始化模型这就是正确初始化的来源Stage 3Asymmetric DMD——用 self rollout学生自己滚动生成历史帧做分布匹配蒸馏得到最终的实时交互生成模型。Self Forcing 的硬伤双向教师造不出合法 ODE 轨迹Self Forcing 用双向扩散教师的 ODE 解轨迹来初始化自回归学生看起来很省事但有一个数学硬伤帧级非单射frame-level non-injectivity。双向教师生成轨迹时同一个噪声帧可能对应多个不同的干净帧解也就是说带噪帧 → 干净帧在数学上构不成一个良定义函数——它是一对多的。官方 FAQ 解释得很到位视觉 latent 空间是连续空间即使一维情况下两个样本完全相同的概率也极低但理论上存在完全碰撞这一点就足以破坏函数性质让整个映射 ill-defined。修复方法很自然把教师也换成自回归的 AR 教师让轨迹在帧级别一一对应。这就是 Causal Forcing 名字的由来——把轨迹对齐这件事做对Done Right。为什么 ODE/CD 必须用 AR 教师DMD 却不用这是最容易混淆的一点官方 FAQ 给了精确答案DMD 阶段只需要学生匹配教师的最终分布不要求复现生成轨迹。所以 DMD 阶段继续用更强的双向教师完全没问题双向扩散通常比 AR 扩散更强是更好的教师ODE / CD 阶段要求学生与教师走同一条轨迹轨迹对齐结构必须匹配AR 学生没法和双向教师做轨迹对齐——这就是必须换 AR 教师的原因。代码里也能看到这种非对称设计DMD 的 loss 只靠real_score/fake_score的 KL 梯度驱动见 model/dmd.py 的_compute_kl_grad其中 KL 梯度按 DMD 论文公式 7/8 计算model/dmd.py。曝光偏差DMD 为什么天生怕烂初始化 ⚠️这是全文最核心的部分。DMD 训练时使用self rollout学生自己逐块生成历史帧通过 KV cache 保持因果一致性实现见 pipeline/self_forcing_training.py 的SelfForcingTrainingPipeline与inference_with_trajectory。这就带来两个叠加的差距步数差距step gapDMD 是 few-step 模型如果初始化只是一个多步 AR 扩散few-step 下的教师信号远弱于 ODE 蒸馏后的教师自回归条件差距conditioning gap学生用自己生成的历史帧做条件早期 few-step 产生的小误差会污染历史、并被逐帧放大——这就是大曝光偏差exposure bias直接增加了 DMD 的优化压力。后果是DMD 既要弥合步数差距又要对抗不断累积的自回归误差训练压力翻倍。而正确的 ODE 初始化直接消掉了这两个差距的大部分学生本来就是 ODE 轨迹上的少步模型DMD 只需做分布精修官方数据ODE 初始化后DMD 只需训练约 100 步即可大幅降低了长 DMD 训练导致运动动态退化的风险对照 configs/causal_forcing_dmd_framewise.yaml 与 configs/causal_forcing_dmd_chunkwise.yaml。ODE vs AR 扩散哪个初始化更好官方在附录 C2 里直接对比过proper ODE init与直接用多步 AR 扩散 init结论是proper ODE 初始化胜出具体表现初始化方式few-step 教师强度与 self rollout 的误差叠加实际观感多步 AR 扩散 DMD弱大曝光偏差被放大偶发网格状、蜡感/油腻感Causal ODE 蒸馏 DMD强小质量与运动动态显著更好关键洞察DMD 天生是 few-step 方法正确的对比必须放在 few-step 场景下。在少步区间里few-step 扩散教师远弱于 ODE 蒸馏教师没有 ODE 蒸馏DMD 必须同时弥合步数差距和 self rollout 条件差距虽然也能收敛但质量通常更差。工程上Causal ODE 数据构造已支持 3 倍加速get_causal_ode_data_kv_optimized.py帧级/块级数据生成入口分别是 get_causal_ode_data_framewise.py 和 get_causal_ode_data_chunkwise.py回归训练实现见 model/ode_regression.py 的ODERegression。Causal Forcing用 Causal CD 省掉 ODE 数据构造 ODE 初始化的代价是要生成大规模 ODE 配对数据约 300G。Causal Forcing 用Causal Consistency Distillation替代 ODE 蒸馏理论上等价但只需要真实视频数据完全免生成 ODE 数据且效果持平甚至更好。这让它成为目前最可扩展的初始化路线并产出了首批1-step / 2-step 帧级模型——其中 2-step 模型质量甚至超过 4-step 模型配置见 configs/causal_forcing_dmd_framewise_2step.yaml 与 configs/causal_forcing_dmd_framewise_1step.yaml训练入口 model/naive_consistency.py 的NaiveConsistency。帧级模型还原生支持 I2V只需把首帧 latent 设为条件图像即可--i2v参数示例输入图见 prompts/i2v/裁剪信息 prompts/i2v/target_crop_info_26-15.json在同等训练预算与推理效率下质量和运动动态都显著优于 Self Forcing。总结三条可落地的经验初始化是 DMD 质量的天花板——few-step 教师强度决定了 DMD 的上限先把 Stage 2 做对轨迹对齐类蒸馏ODE/CD必须用 AR 教师分布匹配类蒸馏DMD可以用更强的双向教师两者不要混为一谈能省则省不想构造 ODE 数据就直接上 Causal Forcing 的 Causal CD 路线正确性不损失、成本大幅降低。配套文件速查model/dmd.pyDMD 主实现、pipeline/self_forcing_training.pyself rollout、model/ode_regression.pyODE 回归、model/naive_consistency.py一致性蒸馏、inference.py推理入口。赞分享【免费下载链接】Causal-Forcing[ICML 2026] Official codebase for Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation Causal Forcing项目地址https://gitcode.com/gh_mirrors/ca/Causal-Forcing点击查看免费下载相关推荐Causal-Forcing三阶段训练流水线全解AR扩散→因果蒸馏→DMD从零复现实时视频模型Causal Forcing三阶段训练流水线全解AR扩散→因果蒸馏→DMD从零复现实时视频模型 Causal Forcing 是 ICML 2026 的开源Hugo构造函数日志为什么需要特殊处理对象初始化Hugo构造函数日志为什么需要特殊处理对象初始化 在Android开发中对象初始化是应用启动和运行的基础环节。然而构造函数Constructor作为对开发工具移动开发Self Forcing与主流模型对比为什么它能解决训练-测试差距难题Self Forcing与主流模型对比为什么它能解决训练 测试差距难题 在视频生成领域一个长期困扰研究者的核心问题是 训练 测试差距 模型在训练时表现优秀人工智能深度学习媒体生成视频预训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考