高光谱图像的超分复原这两年热度一直在涨尤其是盲超分这个方向——所谓盲就是你事先不知道退化核模糊核噪声水平下采样方式算法得自己把退化过程估出来再复原。这个设定比非盲超分难得多但也更贴近真实场景因为现实中你拿到的低分辨率高光谱图像鬼知道它是被什么镜头、什么压缩流程糟蹋过的。IEEE 2025 上这篇 DBSRDual-domain Blind Super-Resolution双域盲超分算是把空间域和光谱域的信息做了个比较巧的耦合我前后花了两周把代码跑通、复现了主要指标中间踩的坑不算少。这篇就把整个复现流程、关键原理、以及那些论文里不会写的实操细节一次性讲清楚适合已经有一定深度学习基础、想上手高光谱超分复现的读者。1. 先搞清楚DBSR到底在解决什么退化问题1.1 高光谱盲超分和普通图像超分的本质区别普通RGB图像超分大家熟悉的退化模型基本就是 $y (x \otimes k) \downarrow_s n$一个模糊核、一个下采样、一个噪声。高光谱图像HSI多了一个光谱维度数据是 $H \times W \times B$ 的三维立方体B 通常是 31如CAVE数据集到 200 多不等。这个光谱维度的存在让退化建模变得复杂空间上的模糊和光谱上的响应函数是耦合的你不能简单地把每个波段当独立图像处理否则光谱曲线就断了重建出来的颜色光谱反射率会失真。盲超分的盲体现在退化核未知。DBSR 的核心思路是既然空间域估计退化核容易陷入局部最优那就引入光谱域的约束来辅助。具体来说它假设高光谱图像在光谱维度上具有低秩特性相邻波段高度相关利用这个先验去正则化空间域的核估计。这个双域耦合是它区别于普通盲超分的关键。1.2 为什么退化核估计是整条链路的命门我复现时最大的体会是超分网络本身重建部分其实不难用个残差网络或者Transformer都能出结果真正决定成败的是退化核估得准不准。核估偏了后面网络再强也是把错误的东西放大。DBSR 里退化核估计模块输出的不只是一个模糊核还包括噪声水平和下采样因子这三者共同构成退化描述子。论文里给的消融实验很说明问题把退化核估计换成真实核非盲设定PSNR 能涨 2-3 dB反过来核估计误差每增加 10%最终重建 PSNR 掉大约 0.8 dB。所以复现的时候第一件事就是把核估计模块单独拎出来验证别急着端到端跑。1.3 DBSR的网络骨架拆解整个 DBSR 分三块退化估计子网、双域特征提取主干、重建头。退化估计子网是个轻量 CNN输入低分辨率 HSI输出核参数主干是空间-光谱交替的注意力模块空间分支用窗口注意力光谱分支用波段间自注意力重建头把融合特征上采样回目标分辨率。代码里这三块是分开的类方便你单独调试。提示复现时建议先把退化估计子网在合成退化数据上单独训练收敛再冻结它去训主干这样比端到端一起训稳定得多我端到端直接训的时候 loss 震荡了整整两天。2. 环境搭建与数据准备的那些细节2.1 依赖版本这块必须卡死高光谱超分的代码对版本极其敏感尤其是 PyTorch 和 CUDA 的匹配。我用的组合是 PyTorch 2.1.0 CUDA 11.8 Python 3.9这个组合在 3090 和 4090 上都验证过。论文官方 repo 里 requirements 写的是 torch1.12但实测 1.12 跑注意力模块会有奇怪的显存泄漏升到 2.1 就正常了。conda create -n dbsr python3.9 -y conda activate dbsr pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 pip install numpy scipy scikit-image h5py tqdm tensorboard einopseinops这个库一定要装DBSR 主干里大量用了rearrange做维度变换没有它代码直接报错。另外h5py是读 CAVE 和 Harvard 数据集用的这两个数据集都是 .mat 或 .h5 格式。2.2 数据集的选择与预处理陷阱常用的高光谱数据集有 CAVE32个场景512×512×31、Harvard50个场景、Chikusei遥感128×128×128。复现 DBSR 论文指标用的是 CAVE Harvard 组合。下载下来是 .mat 文件需要转成 numpy 再切片。这里有个大坑CAVE 数据集的原始值范围是 0-6553516位而论文里默认输入是归一化到 [0,1] 的。我第一次没注意直接喂进去loss 直接 NaN。正确做法是先除以 65535 再裁剪到 [0,1]。import scipy.io as sio import numpy as np def load_cave(path): mat sio.loadmat(path) hsi mat[radiance] # 形状 (512, 512, 31) hsi hsi.astype(np.float32) / 65535.0 hsi np.clip(hsi, 0, 1) return hsi另一个细节是波段顺序。CAVE 的波段是 400nm-700nm 每 10nm 一个共 31 个顺序是从短波到长波。有些预处理脚本会做翻转导致光谱曲线反了训练出来的模型光谱保真度极差。建议加载后画一条光谱曲线肉眼确认一下。2.3 合成退化数据的生成逻辑盲超分训练需要成对的 HR-LR 数据LR 是通过合成退化生成的。DBSR 用的退化是各向异性高斯核 双三次下采样 高斯噪声。核的生成用随机参数核宽在 [0.6, 2.0] 随机旋转角在 [0, π] 随机噪声 sigma 在 [0, 0.05] 随机。def gen_anisotropic_kernel(kernel_size15): angle np.random.uniform(0, np.pi) sigma_x np.random.uniform(0.6, 2.0) sigma_y np.random.uniform(0.6, 2.0) # 生成旋转椭圆高斯核 ... return kernel / kernel.sum()注意核尺寸别设太大15×15 足够覆盖常见退化。设成 21 或 25 会让退化估计子网的参数量暴涨训练时间翻倍但精度提升微乎其微我实测过PSNR 只涨了 0.05 dB不划算。3. 退化估计子网的单独调试过程3.1 为什么先训退化估计而不是端到端前面提过端到端训 loss 震荡。原因在于退化估计子网的梯度会被主干的重建 loss 淹没导致核估计迟迟不收敛。单独训的时候损失函数直接用核参数的 L2 距离加上噪声估计的 L1收敛非常快一般 50 个 epoch 就能把核估计误差压到 5% 以内。单独训还有个好处你可以直观地可视化估计出来的核长什么样和真实核对比。我建议每 10 个 epoch 存一张核的对比图能很清楚地看到模型是不是在学有用的东西。3.2 核估计的损失函数设计DBSR 论文里核估计损失是$$L_{kernel} |k_{pred} - k_{gt}|2^2 \lambda |n{pred} - n_{gt}|_1$$其中 $\lambda$ 取 0.1。这里有个细节核的 L2 损失对核的归一化很敏感。如果你的核没有归一化到和为 1损失会非常大且不稳定。我在 dataloader 里强制做了归一化问题就解决了。另外噪声估计用 L1 而不是 L2是因为噪声水平这个标量对异常值敏感L1 更鲁棒。这个选择论文里没细说但从实验结果反推是合理的。3.3 实测核估计精度的评估方法怎么判断核估计准不准不能只看 loss。我的做法是对测试集的每个样本计算估计核和真实核之间的余弦相似度以及估计核的等效高斯 sigma。余弦相似度能反映核的形状对不对等效 sigma 能反映核的尺度对不对。实测下来DBSR 在 CAVE 测试集上核估计的平均余弦相似度能到 0.92 左右等效 sigma 误差在 8% 以内。如果你的复现结果明显低于这个八成是数据预处理或者损失权重出了问题。指标论文报告值我的复现值差异原因核余弦相似度0.930.92随机种子差异sigma 相对误差7.5%8.1%数据增强策略不同噪声估计 MAE0.0030.0035归一化细节4. 双域主干的训练策略与显存优化4.1 空间-光谱交替注意力的实现要点主干的核心是交替堆叠空间注意力块和光谱注意力块。空间块用的是窗口大小为 8 的窗口注意力光谱块是全局的波段间注意力。这里显存消耗的大头在光谱注意力因为它是 $B \times B$ 的注意力矩阵B31 时还好但如果你的数据集波段数到 100 以上显存会爆。解决办法是光谱注意力也做分组把波段分成若干组组内做注意力。DBSR 代码里有个spectral_group参数默认是 1不分组波段多的时候可以设成 4 或 8。我处理 Chikusei128波段时设成 8显存从 22G 降到 9G精度只掉了 0.1 dB。4.2 训练超参的设置与调整经验论文里给的超参是batch size 32初始学习率 2e-4cosine 退火到 1e-6训练 300 epoch。但这是在 4 张 A100 上的配置。单卡 24G 显存的话batch size 只能开到 8这时候学习率要相应调小到 5e-5否则梯度噪声太大。我用单卡 3090 训了 500 epochbatch size 8最终 PSNR 比论文低 0.3 dB 左右这个差距在合理范围内。如果你追求完全复现建议用梯度累积模拟大 batch累积步数设成 4等效 batch size 就是 32。# 梯度累积示例 optimizer.zero_grad() for i, batch in enumerate(loader): loss model(batch) / accum_steps loss.backward() if (i 1) % accum_steps 0: optimizer.step() optimizer.zero_grad()4.3 显存不够时的取舍方案显存不够是复现高光谱超分最常见的拦路虎。除了上面说的光谱分组还有几个手段一是把训练 patch 从 64×64 降到 48×48二是用混合精度训练AMP三是把主干层数砍掉几层。这三个手段我都试过对精度的影响排序是砍层数 降 patch AMP。AMP 基本无损强烈建议开。降 patch 会损失一点全局信息PSNR 掉 0.1-0.2 dB。砍层数最伤砍两层掉 0.5 dB 以上。所以优先级是先开 AMP再考虑降 patch最后才动层数。提示开 AMP 的时候注意退化估计子网里的核归一化操作除以 sum在 fp16 下容易精度丢失建议把这个操作强制转成 fp32 再做。5. 复现过程中踩过的那些坑5.1 loss突然变NaN的排查链路这个坑我踩了整整一天。现象是训练到第 30 个 epoch 左右loss 突然变 NaN。排查过程是这样的先检查数据发现有几张 CAVE 图像的某些像素值是 65535 之外的异常值可能是采集噪声归一化后超过 1被 clip 掉了但梯度还是异常。然后在 loss 里加了torch.nan_to_num做保护问题缓解但没根治。最后定位到是学习率在 cosine 退火到接近 0 的时候除以一个极小的数导致数值不稳定。解决办法是在优化器里加eps1e-8并且把退火的最低学习率设成 1e-6 而不是 0。改完之后再没出现过 NaN。5.2 光谱曲线失真的根因定位训练完第一版模型PSNR 看着还行但把重建结果的光谱曲线画出来一看某些波段明显失真曲线出现了不该有的毛刺。一开始以为是网络容量不够加了层也没用。后来对比数据预处理流程才发现问题出在数据增强上。我用了随机水平翻转做增强但翻转操作对高光谱图像来说如果同时翻转了波段顺序有些实现会误操作光谱就乱了。检查代码发现确实有个np.flip没指定 axis默认翻转了所有维度。改成np.flip(hsi, axis1)只翻转空间维度后光谱曲线就正常了。这个坑的教训是高光谱数据的任何增强操作都要明确指定作用在哪个维度上空间增强绝不能碰光谱维。5.3 评估指标对不上的几种可能复现完发现 PSNR 比论文低先别急着怀疑自己。按这个顺序排查第一确认测试集的划分和论文一致有些论文的 train/test split 没写清楚第二确认评估时是在哪个色彩空间算的 PSNR高光谱一般在反射率空间算不是RGB第三确认边界裁剪有些实现会裁掉边缘若干像素再算指标因为边缘有padding效应。我遇到的情况是测试集划分不同论文用了 CAVE 的前 20 个场景做训练后 12 个做测试而我一开始随机划分的导致结果不可比。改成和论文一致的划分后差距从 0.8 dB 缩小到 0.3 dB。排查项常见错误正确做法测试集划分随机划分按论文固定划分评估空间RGB空间算PSNR反射率空间算边界处理全图计算裁掉边缘16像素波段范围全波段论文指定的可见光波段6. 复现结果与进一步优化的空间6.1 最终指标与论文的对比在 CAVE 数据集上×4 超分任务我的复现结果是平均 PSNR 42.1 dB、SAM光谱角映射4.2°。论文报告的是 42.4 dB、4.0°。差距在 0.3 dB 和 0.2° 以内考虑到单卡训练和随机性这个复现算是成功的。Harvard 数据集上差距稍大PSNR 差 0.5 dB主要是 Harvard 的场景更复杂单卡 batch size 小导致训练不充分。从 SAM 指标看DBSR 的光谱保真度确实比普通超分方法好普通方法 SAM 普遍在 6° 以上DBSR 能压到 4° 出头说明双域耦合的设计是有效的。6.2 想进一步提升可以尝试的方向如果你复现完想继续改进有几个方向值得试。一是把退化估计子网换成基于 Transformer 的现在用的还是 CNN对复杂退化的建模能力有限。二是引入退化感知的元学习让模型能快速适应新的退化类型。三是在光谱域加更强的先验比如用低秩分解或者稀疏表示来约束。我自己试过第一个方向把退化估计换成小 Transformer核估计余弦相似度从 0.92 涨到 0.94最终 PSNR 涨了 0.2 dB但训练时间增加了 40%。值不值得看你的算力预算。6.3 代码开源与复现建议官方代码在 GitHub 上搜 DBSR 就能找到但 repo 里的 README 写得比较简略很多细节要自己啃代码。我的建议是先把退化估计子网单独跑通确认核估计精度达标再去训主干。数据预处理一定要自己写一遍别直接用 repo 里的脚本因为不同数据集的格式差异很大脚本不一定适配。另外训练日志一定要用 tensorboard 记下来尤其是核估计的中间结果。复现出问题的时候这些日志是定位问题的关键。我这次能快速定位到 NaN 和光谱失真的问题全靠日志里存的中间可视化。最后分享一个小技巧如果你的显存实在不够可以先把模型在低分辨率 patch 上训到收敛再用高分辨率 patch 微调几个 epoch。这种先粗后细的策略能省不少显存精度损失也很小我实测只掉了 0.1 dB。