简介Denoising Diffusion Probabilistic ModelsDDPM原始论文PDF来自UC Berkeley团队发表于NeurIPS 2020面向AI研究者、深度学习爱好者及图像生成方向开发者用于理解当前Stable Diffusion等应用背后的核心理论基础。文章系统阐述了扩散概率模型的完整框架从前向加噪过程到反向去噪采样均有严格推导提出将去噪评分匹配与Langevin动力学相结合的加权变分训练目标并在无条件CIFAR10上取得Inception 9.46、FID 3.17的当时最优成绩在LSUN 256×256上也实现了与ProgressiveGAN相当的效果。资源为单个PDF文件大小约9.79MB保留论文完整排版、公式推导、实验图表与参考文献包含引言、预备知识、扩散模型定义、训练与采样算法、实验对比、消融研究及总结等完整章节。截至当前已有430人学习下载适合希望从原始文献出发系统理解扩散模型数学原理、追踪生成模型发展脉络的研究者与工程师也是复现DDPM实验和进一步研究生成式AI的重要一手材料。1. 去噪扩散概率模型为什么“先把图像毁掉再学复原”能生成最锐利的样本去噪扩散概率模型Denoising Diffusion Probabilistic Models在 2020 年做了一件反直觉的事它把图像生成拆成“先按预定方差表逐步加噪直到信号彻底变成高斯噪声再训练一条马尔可夫链把噪声逐步还原成图像”。GAN 靠生成器与判别器对抗VAE 靠编码器压缩潜在表征而扩散模型直接学习一个粗暴破坏过程的可逆版本。更反直觉的是这条从噪声里“逆向倒带”的链在 CIFAR10 上拿到了当时最优的 FID 3.17在 256×256 LSUN 上追平了同时代的渐进式生成对抗网络。理解它等于同时搞清三件事为什么加噪过程要设计成高斯马尔可夫链、为什么“预测噪声”比“预测均值”更优、以及为什么采样过程形如朗之万动力学。2. 前向破坏过程与变分目标为什么加噪必须按方差表逐级推演把一张图直接一步加噪成纯高斯噪声也能得到一个生成模型但反向生成几乎不可学一步之内信息被彻底淹没网络无从得知该从哪个方向还原。扩散模型的关键是把破坏过程拆成 T 步小步长高斯转移。这个设计不是工程妥协而是数学上的必然——小步长高斯加噪同时带来两个直接好处反向转移也保持高斯形式且任意中间状态都能用闭式表达。2.1 前向过程为什么转移核必须是 N(xt; √(1−βt)·xt−1, βt·I)前向过程定义为一条固定的马尔可夫链逐级向数据注入高斯噪声q(x1:T | x0) ∏ q(xt | xt−1) q(xt | xt−1) N(xt; √(1−βt)·xt−1, βt·I)βt 是方差表控制每一步的加噪强度。这里的系数设计很讲究信号项乘 √(1−βt)噪声项加 βt·I保证每一步之后分布的方差保持稳定不会因为叠加噪声而无限膨胀。用重参数化写法会更直观xt √(1−βt)·xt−1 √βt·ε其中 ε ~ N(0, I)把这条递推式从 t1 一路展开到任意 t就能消掉中间所有 xt−1得到论文里的核心闭式结论q(xt | x0) N(xt; √ᾱt·x0, (1−ᾱt)·I)其中 ᾱt ∏ (1−βs)注意这个公式的价值任意时刻 t 的带噪样本可以直接从 x0 一步采样不需要真的迭代 t 步。这直接决定了后面整个训练算法的高效性。论文里还提到一个性质当 βt 足够小时前向与反向过程具有相同的高斯函数形式反向过程用条件高斯建模就够用了。2.2 变分下界为什么 KL 散度项可以闭式计算而不是蒙特卡洛逼近扩散模型本质是潜变量模型训练目标是最小化负对数似然的上界。直接优化似然不可行转而优化变分下界 LL E_q[ −log pθ(x0:T) / q(x1:T | x0) ]这个界可以按时间步拆成三项LT 是前向终点与高斯先验的 KLLt−1 是每个中间步的 KLL0 是解码项。拆开之后的关键在于q(xt−1 | xt, x0) 是有闭式解的。因为前向过程每一步都是高斯给定起点 x0 和当前点 xt倒退一步的后验依然是高斯q(xt−1 | xt, x0) N(xt−1; μ̃t(xt, x0), β̃t·I) μ̃t √ᾱt−1·βt / (1−ᾱt) · x0 √αt·(1−ᾱt−1) / (1−ᾱt) · xt β̃t (1−ᾱt−1) / (1−ᾱt) · βt有了这个闭式后验Lt−1 每一项都变成两个高斯分布之间的 KL 散度直接套 KL 公式即可不需要高方差的蒙特卡洛估计。论文里称这是 Rao-Blackwellized 形式的计算。我一般这么理解扩散模型的训练之所以稳定一大半功劳来自这里——所有涉及分布的损失都解析可算网络只负责拟合那个闭式均值。提示q(xt−1 | xt, x0) 和 q(xt−1 | xt) 是两回事。前者有条件 x0是已知数据后的精确后验后者不知道数据分布是模型要学的目标。2.3 方差表 βt固定为常数后训练发生了什么变化论文明确做了个简化前向方差 βt 不用重参数化学习直接固定为常数。这样前向过程没有任何可学习参数LT 项在训练中变为常数可以整体忽略训练只关注中间步的 KL 与最后的解码项。βt 的两种极端取值在实验里表现接近σt² βt适合 x0 来自标准正态的先验与 σt² β̃t适合 x0 是确定单点它们分别对应反向过程熵的上界与下界。常见的实现思路如下表所示这套超参后来被大量后续工作沿用参数含义常见取值T扩散总步数1000β1起始噪声方差1e-4βT终止噪声方差0.02插值方式βt 随 t 的变化线性等间隔增长把 βt 设为常数还带来一个隐含好处采样时不需要为每一步计算方差相关的可学习量生成链的每一步都只依赖网络输出的噪声预测。3. 反向生成链的参数化为什么最优选择是预测噪声 ε 而不是均值 μ变分下界给出了训练目标但还没回答“网络到底该输出什么”。最自然的想法是让网络直接输出后验均值 μ̃t毕竟损失函数里比的就是 μθ 与 μ̃t 的欧氏距离。论文在这个地方做了关键转折直接预测后验均值不是最优选择预测噪声 ε 才是。这一章拆开看这个转折是怎么发生的。3.1 直接预测后验均值展开公式后会发现目标混杂不清将 pθ(xt−1 | xt) 的参数化为均值 μθ(xt, t)、方差 σt²·I 后Lt−1 可以写成Lt−1 E[ 1/(2σt²) · ||μ̃t(xt, x0) − μθ(xt, t)||² ] CC 是与网络无关的常数。最直接的参数化就是令 μθ 去逼近 μ̃t但把闭式采样公式 xt √ᾱt·x0 √(1−ᾱt)·ε 代入 μ̃t 的表达式会得到μ̃t(xt, x0) 1/√αt · ( xt − βt / √(1−ᾱt) · ε )这里的 x0 已经被替换成了 xt 和 ε 的混合表达式。仔细看系数μ̃t 同时包含 xt 的当前信息与 ε 的噪声信息网络如果直接回归 μ̃t等于同时拟合两个不同来源的混合量目标函数对 ε 的变化不敏感。论文在消融实验里发现直接预测 μ̃t 或 x0 的样本质量都不如预测 ε 好——这正是重参数化后隐藏在公式里的信号ε 是单位高斯噪声分布尺度恒定为 1回归目标的方差不会因 t 的变化而剧烈起伏。3.2 ε 预测与去噪得分匹配同一个目标的两种推导路线把 μθ 重参数化为噪声预测形式μθ(xt, t) 1/√αt · ( xt − βt / √(1−ᾱt) · εθ(xt, t) )代入损失后Lt−1 会化简成一个非常干净的目标E[ βt² / (2σt²·αt·(1−ᾱt)) · ||ε − εθ(√ᾱt·x0 √(1−ᾱt)·ε, t)||² ]逐项看这个式子εθ 的输入是带噪样本与时间步 t输出是对注入噪声 ε 的预测权重系数随 t 变化由 βt、αt、ᾱt 共同决定。这与去噪得分匹配的目标几乎一一对应只是多了逐时间步的权重。去噪得分匹配的基本思想是给定一个被高斯噪声扰动的样本训练网络回归所加的噪声而回归噪声等价于估计数据分布对数密度的梯度 ∇log q(xt)。扩散模型把这个思想放进了变分框架里最终得到的却是一个形式上几乎相同的去噪目标。论文明确指出优化这个目标等价于用变分推断去拟合一条类似朗之万动力学的采样链的有限时间边际分布。提示等价性成立的前提是采用 ε 预测参数化。换一种参数化损失化简后就不一定再对应去噪得分匹配。3.3 采样算法为什么最后一步要刻意不加噪声训练完成后生成就是反向链的逐级采样。论文给出的采样过程如下xT ~ N(0, I) for t T, ..., 1: z ~ N(0, I) 如果 t 1否则 z 0 xt−1 1/√αt · ( xt − (1−αt) / √(1−ᾱt) · εθ(xt, t) ) σt·z return x0这个算法和朗之万动力学的相似性非常明显梯度项由 εθ 提供εθ 预测的噪声越小样本向数据密度高处移动的幅度越大每一步还叠加一个随机扰动 σt·z防止采样坍缩到确定点。与真正朗之万采样的区别在于这里的“梯度”不是解析的得分函数而是网络学习的近似得分。最后一步 z0 是刻意为之。t1 时样本已经接近干净数据这步的目标是输出最终像素值用于显示如果还加高斯噪声返回的 x0 会带肉眼可见的颗粒感。论文在实现里直接无噪声地展示 μθ(x1, 1)本质上是把最后一步当成了确定性解码器。4. 从公式到训练循环重参数化、数据缩放与离散解码器前面的推导解决了“网络学什么”这一章解决“具体怎么写训练循环、怎么处理像素数据、怎么把连续分布变成真正的离散码长”。这三个问题看似工程细节实际都直接影响收敛和最终指标。4.1 随机时间步训练为什么每个 batch 只需算一个 t训练目标已经化简为单时间步的去噪损失因此训练循环可以写得非常简洁repeat: x0 ~ q(x0) # 从训练集采一张真实图 t ~ Uniform({1, ..., T}) # 随机选一个扩散步 ε ~ N(0, I) # 采样真实噪声 loss ||ε − εθ(√ᾱt·x0 √(1−ᾱt)·ε, t)||² 对 loss 做梯度下降 until converged每一轮迭代只随机优化变分下界中的一项。这在数学上是合理的所有 t 被均匀采样长期来看等价于优化全目标的期望。真正支撑这个循环高效运行的是 2.1 节那个闭式采样公式没有它每个 batch 都要模拟完整前向链训练成本直接放大 T 倍。这里还有一个经常被忽略的细节时间步 t 是作为输入传给网络的。εθ 必须知道“这条带噪样本是被加了多少步噪声得到的”才能输出对应尺度的噪声预测。实践中的常见做法是把 t 先用正弦位置编码展开再注入网络的残差块中和 Transformer 的位置编码思路同源。4.2 像素缩放到 [-1, 1]先验分布的尺度对齐问题图像像素原始取值范围是 {0, 1, ..., 255}论文没有直接在这个范围上训练而是线性缩放到 [-1, 1]。动机有两个层面。第一反向链的起点是标准正态先验 p(xT) N(0, I)如果输入像素还停留在 0~255 的大尺度上网络除了学习去噪还要隐式学习一个从大数值域到单位高斯域的尺度变换训练负担额外增加。第二[-1, 1] 以 0 为中心和常见激活函数的工作区间匹配避免了输出层因像素均值非零而产生系统性偏移。缩放操作的等价理解是把前向过程的终点固定为 N(0, I)同时要求反向过程起点从标准正态采样这个起点尺度和数据尺度不对齐就必须靠网络的前若干层消化尺度差。将数据缩放到 [-1, 1] 后数据方差约 0.33与单位高斯在同一量级网络可以把全部容量留给学习结构而不是学尺度。4.3 离散解码器把连续高斯输出折算成无损码长生成模型的最终输出是连续值但图像是离散像素。如果直接拿连续高斯似然计算对数似然会得到有偏的码长估计。论文的解法是在最后一步引入一个独立离散解码器对每个像素坐标在相邻两个量化边界之间对高斯分布做积分pθ(x0 | x1) ∏ ∫ [δ−(xi0), δ(xi0)] N(x; μθ(x1, 1), σ1²) dx其中 δ、δ− 是根据像素值定义的积分边界当像素值为 255 的上界时 δ ∞为 0 的下界时 δ− −∞其余情况边界设在像素值加减 1/255 的位置。这样得到的对数似然才是离散数据真正的无损码长不需要在训练数据里额外加噪声也不需要引入缩放操作的雅可比行列式。提示采样完成展示图片时用的不是离散解码器采样的像素而是直接把 μθ(x1, 1) 的连续值映射回像素范围。离散解码器只在计算似然时起作用两条路径互不干扰。5. 训练与采样常见问题排查那些不仔细看公式就会翻车的细节扩散模型的公式推导环环相扣跳错一步训练时表现出来的症状往往不是“直接发散”而是“一切看着正常但结果变差”。这一章把最常见的几个现场记录下来。5.1 数据没有缩放到 [-1, 1] 直接开训现象训练损失能正常下降采样出的图片整体发灰对比度明显偏低。原因网络输入输出范围与标准正态先验不对齐反向链的第一步就要把单位高斯的大尺度噪声压到 0~255 的像素量级网络被迫在浅层学一个额外的数值映射这部分容量本应留给纹理结构。解决像素值先除 255 乘 2 减 1缩放到 [-1, 1]采样结束后再把 μθ 输出的连续值反向映射回 0~255 显示。5.2 预测 x0 比预测 ε 更快收敛但样本质量差一截现象训练早期损失下降很快生成图却轮廓模糊、细节像“糊了一层霜”。原因x0 是真实图像的连续版本不同时间步的 x0 回归目标尺度一致网络容易拟合但 x0 在噪声大时信息已被完全覆盖网络只能靠猜而 ε 是标准高斯噪声所有 t 下尺度恒为 1并且预测 ε 在数学上等价于学习数据分布的得分对生成有利。论文在实验中也明确提到早期实验发现预测 x0 会得到更差的样本质量。解决μθ 内部重参数化为噪声预测形式这样模型输出的是 ε再由公式换算得到均值。5.3 总步数 T 太小或者 βT 取太大现象训练稳定但采样结果像“加了霜的图”整体发雾FID 居高不下。原因前向链太快进入纯噪声区中间步骤没有足够的信噪比过渡段反向链每一步都在做从几乎纯噪声里恢复信息的困难任务而这样的任务步骤又不够多模型能力被摊薄。解决采用线性方差表 β11e-4、βT0.02、T1000 作为起点调试时打印各个 t 下 √ᾱt 的值观察前向过程在哪个阶段信噪比趋近于 0通常希望 t 到一半时还有可辨识的结构信息。5.4 用简化目标训练采样时却用完整变分下界的直觉现象完整变分下界 L 训练出的模型 FID 明显差于简化目标训练出的版本。原因L 中每个 KL 项的权重是 βt²/(2σt²αt(1−ᾱt))这个权重的量级随 t 剧烈变化某些时间步在总损失里占绝对主导使得网络过拟合特定噪声尺度。论文在表格里给出了直接对比用完整 L 训练得到 FID 13.51而用简化目标训练得到 FID 3.17。解决训练阶段丢弃权重系数统一用 ||ε − εθ(...)||²只有在需要报告似然指标时才把完整 L 当作评估函数使用。提示简化目标不是把完整 L 扔掉而是把每一项重新加权成常数权重。论文把这解释为一种加权变分界权重方案由去噪得分匹配的视角自然导出。6. 设计取舍的思考为什么似然不高样本质量却更好扩散模型的实验结果里有一个明显反差在感知质量指标上领先但 bits/dim 这类对数似然指标不如自回归模型。论文给出了一个值得反复咀嚼的解释模型的大部分无损码长被消耗在了描述人眼不可察觉的图像细节上。从这个角度看扩散模型的采样过程是一种渐进式有损解码。前向过程里早期时间步对应低频结构晚期时间步对应高频细节反向生成时模型先恢复宏观轮廓再逐步补全微观纹理。作者指出这个过程可以解释为自回归解码的推广——自回归模型规定了一个固定的解码顺序比如从左到右、从上到下而扩散模型的时间步定义了一种更为灵活的“信息排序”每一步恢复的是某一噪声尺度下可分辨的信息层次。把 xT 到 x0 的采样视为一种压缩码的渐进解压diffusion model 就不仅是一个生成器还是一个天然的层次化图像编解码器。这种取舍带来的实际告诫是如果只盯着似然指标扩散模型天然吃亏但如果目标是生成让人信服的图像把模型容量集中在人类视觉敏感的中低频结构、允许高频细节以近随机方式生成反而是更优的资源分配。我后来再看任何生成模型都会先问一句这个目标函数在奖励什么是逐像素的真实性还是感知层面的可信度想清楚这一个问题比调十个超参都有用。希望帮到你。本文还有配套的精品资源点击获取