一个标题拆出四个关键信息AAAI 顶会背书、All-in-One 统一框架、Image Restoration 图像修复、Human-Visual-Perception-Inspired 类人视觉感知启发。这四个词单独看都不新鲜但拼在一起就是这两年 CV 圈最热的交叉方向之一。如果你是做底层视觉的研究者、AI 应用工程师或者正在纠结单一修复模型好用还是统一框架好用这篇拆解应该能给你不少参考。标题里的 ClearAIR 这个命名也挺巧妙AIR 刚好是 All-in-One Image Restoration 的缩写又暗合清新空气的意思。结合近年来去雨、去雾、低光增强这些典型场景能猜到这应该是一个主打多任务统一修复的工作。下面我把这个方向从动机到落地逐层展开说说这类模型到底解决了什么问题、仿生设计仿的是什么、训练和评估时有哪些坑。1. 标题信息拆解一篇顶会论文的商业密码1.1 All-in-One 取代单任务真实世界不会只给你一种病过去几年图像修复的主流思路是一个任务一个模型。去雨的训练一个去雨网络去雾的训练一个去雾网络低光提亮又训练一个。问题很明显真实场景中的退化很少单独出现。一张在傍晚下雨天用手机拍的街景照片既可能有雾霭、雨丝还因为光线不足带着噪声和色偏。你不可能在手机相册里装五个模型让用户自己判断这张要先去过雾再去噪。All-in-One 的思路就是用一个模型统一处理多种退化。这个趋势在 2022 年前后开始兴起具体模型通常包含一个共享的骨干网络通过某种退化感知机制比如 prompt、超参数、条件编码来适配当前输入对应的退化类型。优势有三点模型参数共享实际部署体积可控用户不需要关心选择哪个修复模式一个入口搞定多种退化数据联合训练某些任务之间还能形成隐式的相互促进比如去噪和低光增强共享低频结构知识ClearAIR 大概率也是沿着这条线走但它的独特卖点不在All-in-One本身而在于引入了人类视觉感知的启发——这正是它区别于普通多任务框架的地方也是我下一节要拆的事。1.2 类人视觉感知仿生是口号还是真创新Human-Visual-Perception-Inspired如果只是论文摘要里写一句我们模拟了人眼的注意力机制那基本等于没做。真正有含金量的仿生设计往往是从视觉通路层级、感受野结构和亮度适应性这几个角度切入视网膜到皮层的分级处理低层特征边缘、纹理快速提取高层语义物体、场景慢慢综合。对应到修复网络就是浅层做细节恢复、深层做语义理解然后双向融合。中心-周围感受野Center-surround RF这是视网膜神经节细胞的基本结构看中心、顾周围让模型天然具备局部对比度增强和多尺度上下文聚合的能力。亮度适应与颜色恒常性人眼在暗光下会自动放大响应、在强光下自动压缩同时对物体颜色保持稳定认知。低光增强和色偏校正用得上这套逻辑。视觉显著性引导人眼不会一视同仁地扫过整个画面而是先关注显著目标。修复模型如果对显著区域投入更多计算资源感知质量会明显提升。我推测 ClearAIR 的视觉感知启发大概率落在以上某两到三个机制上可能是新的模块设计比如模仿中心-周围感受野的注意力算子也可能是新的训练范式比如用显著性图做损失加权。这类设计在 2025 年前后的顶级会议论文中已经有所出现2026 年的 AAAI 录用说明这个方向还在快速迭代期远没有到饱和。1.3 为什么这种方向值得投入从学术角度看All-in-One 是底层视觉从单病症治疗走向全科医生的关键一步。从工程角度看手机影像算法、监控视频增强、自动驾驶感知前处理哪个场景不是退化类型混杂能用一个模型扛下多类退化对端侧部署是实打实的优势。同时仿生的角度天然自带跨学科叙事视觉神经科学那边的结论还能反过来给网络设计提供灵感。一篇中稿论文往往不只是给代码而是给出了一套从生物视觉机制到算子设计的方法论这正是这方向值得跟读的深层原因。2. 真实场景中的复合退化为什么统一修复是刚需2.1 一张照片同时得三种病的案例拿一个实测场景来说某天傍晚我在室内不开灯透过起雾的玻璃窗拍窗外街景。照片出来是什么效果玻璃上的雾气让对比度骤降暗光让 CMOS 的读出噪声显著可见再加上玻璃反光带来的色彩偏移。如果按传统流程走先去雾、再去噪、最后提亮问题是这三个步骤是互相纠缠的——去雾算法会把噪声当成细节放大提亮操作又会把残留的噪点变得更明显最后的结果可能是既没去干净雾、又放大了伪影。这也是流程式方案cascade最根本的问题误差会逐级累积而且每个中间步骤的输出都不是干净的图像下一级模型的输入域和它训练时的分布始终不匹配。All-in-One 的另一种思路是联合学习退化之间的耦合关系在统一的特征空间里同时消除多种退化就绕开了中间表示漂移的问题。2.2 统一框架的核心任务引导与共享表示好的统一修复框架通常要回答两个问题怎么区分当前输入是哪种退化早期做法是给模型一个任务标签one-hot vector后来进步到用 CLIP 或文本 embedding 做语义 prompt。更新的方案干脆不显式区分直接在特征层面自适应地感知退化强度。怎么在不同任务间共享通用知识、又不互相干扰比如去噪需要平滑先验而去模糊需要锐化先验这俩在低层特征上天然冲突。解决方式一般是模块拆分底层共享高层任务特化或者引入可学习的路由参数让每层网络自己决定特征该流向哪个任务分支。ClearAIR 如果以人类视觉感知为核心线索很可能在这个自适应路由上做文章。因为人眼天然懂得根据场景自动调整处理策略——晴天看远处、暗房看近处永远能自适应。对应到模型就是让网络根据输入图像的统计特性亮度、清晰度、颜色分布自监督生成路由或调制信号。2.3 统一框架的统一尺度问题说到All-in-One很多人以为就是简单地把多个数据集拼起来训练。实际上不同退化任务的数据难度差异很大低光增强的 GT 通常是从长曝光来的去雨的 GT 是干净的晴天图像去雾则是清晰远景。它们的分辨率、动态范围、色彩空间都不一样。统一框架真正统一的不是数据集而是特征表示和损失空间的平衡策略。这也是训练这类模型最头疼的部分后面我在第 4 节再展开。3. 类人视觉感知的四个可计算机制3.1 中心-周围感受野天生的多尺度对比度增强视网膜神经节细胞的感受野是中心兴奋、周围抑制或反过来这种结构让视觉系统在亮度均匀区域保持平静在边缘和突变处迅速响应。放到修复网络里这就是一个天然的高通道差分注意力对中心像素与周围区域的差值做加权差值大的地方加大权重差值小的地方抑制响应。实现上可以用可变形卷积的邻域采样也可以用类似递归采样Recursive Sampling的低频-高频残差结构。好处是模型天然对边缘敏感修复结果更锐利不会把边缘磨糊。3.2 双通路架构与多尺度金字塔人眼的视觉通路分成 P 通路处理形状细节和 M 通路处理运动、空间关系对应到修复网络就是两条建议路径一条走精细纹理高分辨率特征逐像素重建一条走全局结构多次降采样提取语义上下文再通过一个融合模块把两条通路的信息按空间位置动态加权。这种双通路多尺度金字塔的组合对同时解决去噪会丢细节和去模糊需要大感受野两个看似矛盾的需求特别有效。3.3 亮度适应与颜色恒常性人眼为什么在暗光下还能分辨物体颜色靠的是视网膜锥细胞的非线性响应和大脑的颜色恒常性机制。修复模型如果直接用线性卷积处理暗光图输出大概率亮度不均、颜色发灰。借鉴人眼的做法是先用一个自适应亮度感知模块估计全局亮度水平生成增益系数再用分区域亮度补偿对暗部区域做局部提亮最后接一个颜色通道的统计白化把色偏拉回来有的论文还会引入视觉对比度阈值的概念——低于人眼感知阈值的亮度和颜色差异不需要恢复省下的计算量可以全给显著区域。3.4 显著性图引导的空间注意力人对一张照片的注意力分布实际上非常不均匀——人脸、文字、车辆、宠物天然吸引眼球。如果模型在做修复时用预测的显著性图作为注意力权重就能在用户最关注的地方分配更多拟合能力。我实测过的做法是先用一个轻量显著性预测器某些预训练模型的前几层就够了得到 saliency map然后把它变成逐像素损失权重。这种方式有个额外的好处显著区域的修复错误更容易被 PSNR 和 SSIM 惩罚间接提高了指标真实场景下用户的第一观感也会明显更好。4. 复现一个 ClearAIR 需要的实操配方4.1 退化数据构造别天真地只用现成数据集训练 All-in-One 模型最大的拦路虎是数据。通用做法是分任务构造退化对再按比例混排去雨收集干净图叠加不同密度的雨线渲染去雾用大气散射模型散射系数、大气光随机采样生成有雾图低光增强用 Gamma 变换结合噪声添加模拟暗光图去噪加不同强度的高斯噪声或噪声强度图估计的盲噪声这里有一个关键技巧退化强度要在训练中动态采样而不是固定几个档位。因为统一模型要泛化到任意强度的退化只训固定档位会导致边界情况崩掉。另一个心得是最好把一部分样本做成混合退化——比如同时加雾和噪声这样模型见过复合退化真实场景里的表现才会稳。4.2 网络主干与模块设计思路假设我们要按 ClearAIR 的风格搭一个框架整体架构可以做如下设计主干用类似 U-Net 的编码器-解码器结构配合 Transformer block 做远程依赖建模任务分支底部共享特征提取层靠近输出的部分拆出多个轻量任务头去雨、去雾、低光、去噪各一个感知启发模块在编码器第 3、4 层插入中心-周围差分注意力在解码器浅层插入显著性加权模块自适应机制用一个小型条件网络2~3 层卷积 global pooling从输入图提取退化特征生成每层的调制参数类似 FiLM这里需要注意FiLM 调制的参数量看起来不大但非常有效。它相当于告诉网络当前图的整体退化程度是偏强还是偏弱所有后续特征都按这个信息缩放收敛速度能快不少。4.3 损失函数配方单一 L1 损失训练统一模型不够用建议按以下比例混合L1 / Charbonnier 惩罚像素级重建基础权重约 1.0感知损失VGG特征防止过度平滑保留纹理权重约 0.1频域损失FFT强调高频细节恢复能缓解模糊修复中纹理丢失的问题权重约 0.05~0.1SSIM 损失结构一致性权重约 0.2如果要对齐显著性区域额外加显著性加权的 MSE权重视任务占比调整还要记得在低光增强分支加上亮度一致性正则防止网络粗暴地整体提亮导致高光区域过曝。这个分支的线性不稳定性是所有任务里最麻烦的后面常见问题里细说。4.4 训练策略两个阶段比一次到位稳我多次实践下来All-in-One 模型直接所有任务混合训练常常在某个任务上表现尚可、另一个任务上翻车。更稳的流程是先用各任务单独的数据分别预训练得到一组初始化权重再把所有数据混合用小学习率微调上游共享层和任务头混合阶段要特别注意各任务数据的比例和采样调度。我的常用做法是每个 training step 从每个任务各取一个 batch 组合成大 batch而不是简单地把所有数据按全局顺序洗牌。这样每个 step 都能保证所有任务的梯度都更新到不容易被数据量大的任务带偏。5. 评估与落地别只用 PSNR 说了算5.1 合成指标的天花板PSNR 和 SSIM 在合成数据集上刷到多高都有意义但真实场景的表现常常打折扣。原因是合成退化比如纯高斯噪声与真实噪声的分布差异太大。我在真实手机上拍的夜景图噪声是泊松-高斯混合暗电流拜耳模式的复杂产物用高斯噪声训出来的模型处理起来会出现奇怪的色斑。这里给大家一个经验训练时一定加上 blind noise level map 估计或者用真实噪点库辅助训练。否则 PSNR 好看实际观感不过关。5.2 感知质量指标现在社区普遍会用两个感知指标辅助评估LPIPS衡量感知相似度对纹理细节的保留比 PSNR 更敏感FID / 用户投票生成式方法常用修复任务里也越来越多地被用作最终观感指标更直接的还是双盲对比测试。把原图、单任务模型输出、统一模型输出、目标模型输出放一起让人盲选哪张更自然。我在实际测评中发现有时 PSNR 最高的一张并不是人眼最舒服的一张——因为网络可以靠猜纹理在一个局部上刷高 PSNR。所以内部评测时建议把 PSNR 作为辅助筛选条件最终决策靠盲评。5.3 真实场景泛化测试方法复现完一个统一修复模型一定要做这四步验证零样本跨数据集用 AI 生成的高质量测试图像或用另一个数据集测试看跨域表现真实图像直出翻出自己手机里压箱底的暗光图、雨天图跑一遍极端强度测试故意给模型喂超低光、超大雨、超浓雾的图看会不会出现崩溃色块时序稳定性如果是视频输入还要检查连续帧之间亮度是否闪烁——很多统一模型在单帧表现好视频上会像呼吸灯一样忽明忽暗5.4 部署和推理效率如果在手机或边缘设备上落地参数量和推理速度是硬指标。实测下来轻量统一模型的适合规模在 3M~8M 参数左右输入 720p 图像推理延迟最好控制在 30ms 以内GPU或 150ms 以内中端手机 NPU注意力模块尽量用 depthwise 卷积或 low-rank 近似实现避免标准 attention 的平方复杂度另外强烈建议用 ONNX Runtime 或 TensorRT 量化到 INT8。原来 FP16 模型在端侧推理 80ms 的量化后能压到 35ms 上下观感损失在可接受范围。6. 常见问题与踩坑记录6.1 多任务冲突导致某个分支训练崩坏症状低光增强分支的亮度过曝去雨分支的纹理模糊甚至训练后期损失曲线震荡。现象常见原因解决方案高光区域过曝低光分支的 gamma 增强对高光区权重过大加曝光一致性正则或用局部直方图均衡替代全局 Gamma纹理全糊感知损失权重过高模型走捷径平滑输出来降低 VGG loss下调感知损失权重提高 FFT 损失权重训练后期震荡不同任务梯度互相抵消每个任务独立 batch 采样梯度裁剪降为原来的 1/2某些数据集不收敛高光照区域跨域严重检查数据集中是否有极端亮度过曝样本按像素亮度分布做动态采样权重6.2 伪影问题模型发明了不存在的细节症状暗光修复后天空出现彩色斑点去雨后玻璃窗出现波纹状条纹。这类伪影通常来自频域不诚实——网络在感知损失压力下拼命编造高频细节结果编出了虚假纹理。我的排查方法先看输出图的频率谱如果高频能量明显不自然地集中八成是编造把感知损失替换成可解释约束如梯度保真测一轮在训练数据里加入真实噪声样本而不是纯合成退化最有效的根治办法是在最后一层输出前加一个降采样-上采样的一致性校验输出图像降采样后与低通版本的输入做差反馈到网络里惩罚不一致的高频编造。6.3 各任务数据配比怎么权衡经验数值供参考单任务预训练阶段去雨20%去雾20%低光增强30%去噪30%比例不是死的。如果你主要面向夜景手机拍照可以调高低光增强比例如果雨雾天气的监控清晰化是核心场景就往去雨去雾倾斜。每次调整比例后都要跑一轮所有任务的验证集防止按下葫芦浮起瓢。数据泄露也值得注意统一修复模型测试时如果测试集里混入了参与过训练的退化图指标会虚高到离谱。合成数据要保证训练集和测试集用的场景、退化参数互不重叠。6.4 标志性误区模型越深效果越好很多人在复现 All-in-One 时习惯性堆参数量结果模型参数涨了三倍、修复效果反而下降。原因在于任务数量有限深层网络的表示能力远超过数据能提供的监督信号模型开始背诵训练样本而不是学习退化转移的物理规律。对于绝大多数应用ResNet 块堆到 12~16 层左右就够了再加 Transformer block 主要提升语义一致性对纯像素级修复提升有限。参数量控制在 10M 内基本就能达到收益递减点。6.5 推理时刻的坑训练时模型输入是 256x256 的随机裁剪推理时直接上 4K 图很多模型会花掉好几秒还会因为感受野不足在细节区出现条纹。合规的做法是推理时按滑窗切块约 512x512重叠 64px处理完拼合拼合时对重叠区域做线性淡入淡出避免接缝如果必须全分辨率直出就改用可变形卷积或动态填充来保证感受野覆盖另一个容易忽视的事是输入颜色的格式。训练时常规是 sRGB但手机 RAW 域数据与 sRGB 分布差异巨大。如果目标终端是手机端建议直接把 RAW 域的线性光数据做预处理后送模型别盲目转成 sRGB 再修。个人实际操作中的体会这个领域我前前后后摸了一整年最深的感受是All-in-One 模型真正的难点不是网络结构不够花哨而是数据配比、损失平衡和评估标准这些脏活累活。ClearAIR 这类仿生设计确实能带来一些结构上的启发比如中心-周围感受野和显著性引导但落地的每一个环节都得自己亲手调一遍没有捷径。最后分享一个扩展思路如果你对 ClearAIR 感兴趣可以在它的基础上去掉任务专属头改成直接用一个退化 type embedding 作为条件输入这样模型天然能处理没见过的复合退化这在工程上更优雅。顺着这个思路衍生出的轻量化版本甚至可以让它跑在手机端的实时视频增强上。做这类工作建议从复现已知的 All-in-One 基线开始再逐步加入你感兴趣的视觉感知模块每加一个模块都要做消融验证——架构上的感觉有用和实际数值上的有用之间往往隔着一整轮炼丹的距离。