论文题目FiDeSR: High-Fidelity and Detail-Preserving One-Step Diffusion Super-ResolutionFiDeSR高保真保细节一步扩散超分辨率会议CVPR 2026摘要基于扩散的方法最近推动了真实世界图像超分辨率(SR)的显著进步。然而现有的方法仍然难以同时保持精细的细节和确保高保真重建这往往导致视觉质量不佳。在本文中我们提出了一种高保真的一步扩散超分辨率框架FiDeSR。在训练过程中我们引入了一种细节感知加权策略该策略自适应地强调模型表现出较高预测误差的区域。在推理过程中低频和高频自适应增强器在不需要模型重新训练的情况下进一步细化重建从而实现灵活的增强控制。为了进一步提高重建精度FiDeSR引入了残差-残差噪声细化纠正了扩散噪声中的预测误差并增强了细节恢复。与现有的基于扩散的方法相比FiDeSR实现了卓越的真实SR性能产生了同时具有高感知质量和忠实内容恢复的输出。源代码将在以下网址发布https//githorb.com/Ar0Kim/FiDeSR。FiDeSR兼顾高保真与细节保留的一步扩散超分辨率一、研究背景与问题动机图像超分辨率Super-Resolution, SR的目标是从低质量LQ输入中恢复出高质量HQ图像。真实世界场景下的图像往往受到未知的复杂退化噪声、模糊、压缩伪影等的影响这催生了真实世界图像超分辨率Real-ISR这一研究方向。近年来扩散模型Diffusion Models凭借强大的生成先验在 Real-ISR 任务上取得了显著进展。然而传统多步扩散方法如 StableSR 需要 200 步DiffBIR/SeeSR 需要 50 步推理耗时极长、计算代价高昂。为此研究者提出了一步扩散超分辨率方法通过知识蒸馏将多步过程压缩为单步前向推理。然而现有一步扩散方法仍然面临两大核心挑战挑战一高保真度问题High-Fidelity基于 VAE 条件化的一步扩散方法容易引入结构扭曲和低频不一致难以在恢复高频细节的同时保持图像内容的忠实性。以 AddSR 为例其输出常出现形状变形和全局色调偏移。挑战二细节恢复不足Insufficient Detail Restoration扩散过程中的噪声注入会破坏高频信息而 VAE 编码器将像素级表示压缩到紧凑隐空间进一步放大了高频损失。多步扩散通过多次迭代去噪来补偿这种损失但一步扩散只有单次前向传播导致高频细节恢复严重不足如 OSEDiff 产生过度平滑的纹理。现有一步模型如 PiSA-SR采用 U-Net 预测单一全局残差的策略但 U-Net 每阶段只预测一个全局残差导致高频重建不稳定出现残差伪影如 PiSA-SR 生成过度增强的纹理。 此处配Figure 2论文中展示 AddSR、OSEDiff、PiSA-SR 失败案例的对比图二、FiDeSR 方法总览针对上述问题本文提出FiDeSRHigh-Fidelity and Detail-Preserving One-Step Diffusion Super-Resolution引入三个核心组件组件作用阶段解决的问题细节感知加权DAW训练阶段引导模型聚焦难以重建的细节区域潜在残差精化块LRRB训练推理精化粗残差预测减少高频伪影潜在频率注入模块LFIM推理阶段自适应增强低/高频分量无需重训练整体框架分为训练过程和推理过程两个阶段训练阶段LQ 图像经 VAE 编码得到隐表示扩散网络预测粗残差 r经 LRRB 精化得到VAE 解码器解码得到超分图像DAW 模块动态调整损失权重。推理阶段在上述流程基础上额外引入 LFIM对进行频率分解和选择性注入得到最终增强隐表示再解码为。 此处配Figure 3FiDeSR 整体框架图包含训练与推理流程三、核心组件详解3.1 细节感知加权Detail-aware Weighting, DAWDAW 的核心思想是在训练中让损失自适应地聚焦于视觉复杂、当前模型预测误差较大的区域而非均匀对待所有像素。细节图 D的构建对 HQ 目标图像分别应用 Sobel捕捉边缘锐度、Laplacian捕捉局部对比度、局部方差捕捉纹理方差三种空间滤波器取均值误差图 E的构建综合像素级误差L1 距离和感知误差LPIPS其中 p 控制感知误差的贡献比例。难度权重图通过对细节图和误差图做逐元素相乘得到该权重图对每个空间位置的损失贡献进行自适应缩放高权重赋予视觉复杂或细节丰富的区域。同时应用于重建损失MSE LPIPS和分类器分数蒸馏损失CSD Loss 此处配Figure 11DAW 模块可视化展示细节图、误差图和难度权重图的生成流程3.2 潜在残差精化块Latent Residual Refinement Block, LRRB问题根源现有一步扩散方法如 PiSA-SR让 U-Net 直接预测 LQ 隐空间到 HQ 隐空间的全局残差 r然后执行。这种单一全局残差预测缺乏迭代修正能力容易产生不稳定的高频重建和残差伪影。LRRB 的设计受 ESRGAN 中 RRDB残差中残差密集块启发但与其在像素空间操作不同LRRB 在隐空间中专门针对扩散引起的残差不稳定性进行精化将 LQ 隐表示与 U-Net 的粗残差 r拼接作为输入经 1×1 卷积映射到中间隐空间通过多个密集块模块处理再经 1×1 卷积输出修正量精化残差最终精化隐表示这一两阶段过程使模型获得了更大的灵活性能够对残差进行更精确、更复杂的调整从而得到更准确的精化隐表示。 此处配Figure 4ESRGAN、PiSA-SR 与 FiDeSR 的流程对比图ESRGAN、PISA-SR和我们的FiDeSR之间的管道比较。(A)ESRGAN采用基于RRDB的像素空间恢复。(B)PISA-SR使用一步扩散网络来预测潜在空间中的全局残差。(C)我们的FiDeSR引入了潜在残差精化块(LRRB)它逐步精化残差。3.3 潜在频率注入模块Latent Frequency Injection Module, LFIMLFIM 仅在推理阶段使用无需重新训练模型提供灵活的增强控制。对精化后的隐表示通过基于 FFT 的 Butterworth 滤波器将其分解为低频分量和高频分量随后通过空间门控和通道门控进行选择性注入低频注入LFIM on LF稳定全局结构、色调和光照一致性空间门控来自 Sobel/Laplacian/方差图限制在细节丰富区域的注入量避免过平滑通道门控通过伪 PSD 能量识别结构主导通道注入公式高频注入LFIM on HF增强纹理、边缘和微观细节空间门控通过细节依赖指数强调边缘区域通道门控选择与 LF 门控互补的频率丰富通道注入公式默认参数设置为 lf_alpha 0.2, hf_beta 0.2在全局结构一致性和感知细节增强之间取得平衡。四、实验设置训练数据LSDIR、DIV2K、Flickr2K以及 FFHQ 前 10K 张图像使用 Real-ESRGAN 退化流水线生成 LQ-HQ 对。测试数据合成数据集DIV2K 验证集裁剪的 3000 张 512×512 图像退化为 128×128 LQ 输入真实世界数据集RealSR、DRealSRLQ 128×128 → HQ 512×512评价指标全参考指标需要 GTPSNR、SSIM、LPIPS、DISTS、FID无参考指标无需 GTCLIP-IQA、NIQE、MUSIQ、MANIQA实现细节基于 Stable Diffusion 2.1-baseVAE 和 U-Net 权重冻结为 U-Net 添加可训练的 LoRA 层rank8。在 2 块 NVIDIA H100 GPU 上训练 200K 步batch size8AdamW 优化器学习率 5×10⁻⁵。损失权重 $\lambda_{mse}1$$\lambda_{lpips}2$。五、实验结果与分析5.1 与现有方法的定量对比FiDeSR 在三个测试数据集上与多种多步和一步扩散方法进行了全面对比对比方法包括 StableSR-200s、SeeSR-50s、DiffBIR-50s、PASD-20s、AddSR-4s、OSEDiff-1s、SinSR-1s、PiSA-SR-1s。 此处配Table 1各方法在 DRealSR、RealSR、DIV2K 三个数据集上的完整定量对比核心结论DRealSR 数据集FiDeSR 以 PSNR28.90、LPIPS0.2836、DISTS0.2112、FID127.97 全面领先SSIM0.7907 排名第二仅次于 PASD-20s 的 0.7954但 PASD 需要 20 步推理。RealSR 数据集LPIPS0.2626最优、DISTS0.1965最优、FID109.68最优相比第二名 PiSA-SR 的 FID124.18 降低约11.7%显示出与真实图像分布最为接近的重建质量。DIV2K 合成数据集LPIPS0.2678最优、DISTS0.1845最优、FID23.30最优。FiDeSR 仅需1 步推理推理时间 0.078s参数量 1.29B与其他一步方法SinSR: 0.097sOSEDiff: 0.087sPiSA-SR: 0.057s保持竞争力。值得注意的是FiDeSR 在全参考指标PSNR/SSIM/LPIPS和无参考指标MANIQA/MUSIQ上同时取得优秀成绩而这两类指标通常存在感知-失真权衡perception-distortion tradeoffFiDeSR 的平衡能力尤为突出。5.2 与 GAN 方法的对比FiDeSR 同样优于 GAN 类方法Real-ESRGAN、BSRGAN、LDL 此处配Table 5与 GAN-based Real-ISR 方法的定量对比在 LPIPS 和 DISTS 方面大幅超越 GAN 方法感知相似度更高在 CLIP-IQA、NIQE、MUSIQ、MANIQA 等无参考指标上明显领先生成图像更接近自然图像统计分布GAN 方法普遍存在过平滑纹理、细节不准确和结构重建不稳定的问题5.3 定性对比 此处配Figure 5与 SOTA 扩散方法的视觉对比包含蜥蜴皮肤、鸟类羽毛等细节丰富的样例视觉对比结论SeeSR 等多步方法虽细节丰富但易引入噪声伪影损害保真度AddSR 偏离真实结构局部细节缺失DiffBIR 存在明显噪声伪影PASD 纹理模糊、结构一致性差OSEDiff 保留了部分粗糙结构但高频重建不足PiSA-SR 感知锐度有所提升但在复杂区域引入过度增强或不一致纹理FiDeSR 在结构完整性和精细细节方面均最接近真实图像GT同时不引入多余伪影 更多数据集上的补充视觉对比5.4 消融实验LRRB 和 DAW 的贡献 此处配Table 2LRRB 和 DAW 的消融实验在 DIV2K 上的感知指标对比在 DIV2K 数据集上逐步移除各组件后感知指标均下降移除 LRRBCLIPIQA 从 0.6699 降至 0.6641MUSIQ 从 68.2869 降至 67.6280移除 DAWCLIPIQA 从 0.6699 降至 0.6626MANIQA 从 0.6285 降至 0.6278两者同时移除时性能最差说明两个模块具有互补效应LRRB 的高频噪声预测精化效果 此处配Table 3LRRB 对高频噪声预测误差的改善对比引入 LRRB 后在三个数据集上高频噪声预测 MSE 平均降低1.62%DIV2K: -1.24%DRealSR: -1.99%RealSR: -1.62%并且误差改善集中在边缘和精细纹理等感知重要区域。 此处配Figure 10LRRB 高频噪声预测误差改善的空间分布可视化LFIM 低/高频注入的效果此处配Table 4LFIM 不同注入强度的消融实验在 RealSR 数据集上LF 注入随注入强度增大PSNR 和 SSIM 单调提升LF-0.5 时 PSNR26.3448SSIM0.7532确认低频信息有助于稳定全局结构HF 注入随注入强度增大MUSIQ 和 MANIQA 显著提升HF-0.5 时 MUSIQ70.1617MANIQA0.6803但 PSNR 和 SSIM 有所下降体现感知-失真权衡两者组合使用可灵活控制保真度与感知锐度的平衡5.5 用户研究 此处配Figure 6用户研究投票饼图从 DIV2K、DRealSR、RealSR 各随机选取图像共 20 张邀请 20 名志愿者选出感知真实感与内容保真度最优的结果。FiDeSR 以 21% 的投票率位居第一远超排名第二的 StableSR14%证明了其在主观视觉质量上的优越性。5.6 复杂度分析 此处配Table 6各方法推理步数、推理时间和参数量对比FiDeSR 在引入 LRRB 和 LFIM 的情况下仍保持竞争性的推理速度相比无 LRRB 的基线引入 LRRB 仅增加 0.01B 参数约占总量 1.29B 的0.8%推理时间仅增加 0.0063s约8.1%的额外开销整体推理时间 0.078s处于一步方法的合理范围内六、结论与展望FiDeSR 通过三个互补的技术组件——DAW、LRRB、LFIM——系统性地解决了一步扩散超分辨率中高保真度与细节保留的双重挑战DAW在训练时自适应聚焦难以重建的细节区域引导模型合理分配学习资源LRRB将单一全局残差预测升级为两阶段精化过程显著减少高频重建伪影LFIM在推理时通过频率感知的选择性注入灵活平衡结构保真度与感知锐度且无需重新训练FiDeSR 在 DRealSR、RealSR 和 DIV2K 三个基准上以单步推理实现了优于现有一步和多步扩散方法的综合性能在 FID 指标上尤为突出显示出与真实图像分布的高度一致性。未来展望论文指出FiDeSR 的设计思路——频率感知引导与残差精化的结合——为高效真实世界 SR 开辟了新方向有望扩展至视频超分辨率或多模态图像恢复任务。