做图像算法的人多少都遇到过这类需求——夜里出图的监控视频人脸糊成一团手机夜景模式拍到的照片暗部全是彩噪甚至智能驾驶在隧道口的视觉感知一进暗区就开始“失明”。这类问题在业内就叫弱光图像增强属于底层视觉里的老难题。我最近把一篇很有代表性的论文《Low-Light Image Enhancement via Deep Convolutional Network》重新读了一遍也就是很多人常提的MBLLEN。这篇方法用多分支卷积网络做低光增强核心不是简单把像素调亮而是把亮度、结构、纹理和色彩信息拆开处理再融合。这篇笔记就围绕MBLLEN的网络结构、训练策略、实验效果和落地时容易踩的坑展开希望给正在做图像增强或者打算复现这篇论文的朋友一些参考。1. 弱光增强这个任务难点到底在哪里1.1 问题的本质暗光下信噪比先崩了弱光图像增强不是单纯“拉亮度”这么简单。环境光照不足时传感器接收到的光子数量少有效信号很弱而暗电流、电路噪声、散粒噪声这些底噪并不会跟着变弱。结果就是整张图的信噪比大幅下降图像看起来又暗又脏。这种情况下模型的职责其实是两件事一是恢复场景里的真实亮度分布二是把被噪声淹没的细节重新“补”出来。这两个任务经常是冲突的。如果只做全局提亮噪声会跟着一起被放大暗部会出现大量颗粒感如果只做去噪细节又会被抹平图像看起来像塑料。MBLLEN这种深度方法的优势在于它不依赖手工设计的先验而是直接从成对的暗光/正常光图像里学映射关系在提升亮度的同时抑制噪声和颜色失真。1.2 传统方法为什么压不住噪点在深度学习普及之前主流方案大概分两类。第一类是直方图均衡HE和伽马校正这类像素级方法。它们的计算开销很小但本质是把像素值按非线性曲线重新映射本身不具备“区分噪声和真实纹理”的能力。暗部细节一放大噪点也跟着放大视觉效果很差。第二类是基于Retinex理论的方法比如单尺度、多尺度Retinex以及后来的SRIE、LIME。Retinex把图像分解成入射光分量和反射率分量认为入射光决定了场景的明暗反射率才是物体本身的颜色和纹理然后通过估计和调整入射光图来恢复反射率。思路听起来很合理但实际估计光照图时经常出问题光照边界处会产生光晕色彩也会出现漂移尤其是明暗剧烈变化的区域处理效果不稳定。另外传统方法普遍是单张图像独立处理互相之间没有信息共享。而实际暗光场景千变万化靠固定假设往往只能适配某一类图像换一个场景效果就打折扣。这也是为什么后来大家越来越倾向于用数据驱动的方式去做弱光增强。1.3 MBLLEN 要补的短板在MBLLEN之前已经有LightenNet、RetinexNet这类深度低光增强方法出现了但它们大多采用“单分支”的端到端结构网络直接输入暗图、输出亮图。单分支结构的问题在于一张暗图里既有亮度问题又有噪声问题还有颜色失真问题这些退化信息纠缠在同一个特征空间里。网络如果只有一条处理链路就不得不在一堆特征图里同时完成“判断哪里缺光、哪里噪点大、哪里色偏严重”这几件事很容易顾此失彼。MBLLEN的思路简单说就是“分而治之”用特征提取模块先把暗图的特征抽出来然后拉出多个增强分支让每个分支各管一摊最后再用融合模块把这些分支的结果合成一张高质量的亮图。这个设计在当时的低光增强领域里算是把多分支特征融合的思路做得比较完整的一套。2. MBLLEN的架构拆解几条处理流水线怎么协作2.1 网络整体流程MBLLEN的整体处理链路可以概括为弱光图像输入先经过特征提取模块把图像转成多层特征图然后这些特征图分别送入多个增强分支每个分支输出一张增强后的中间结果最后所有中间结果进入融合模块生成最终的增强图像。论文里把这种设计叫多分支低光增强网络。注意这里每个分支输出的并不是单独的一个通道而是一张完整的、经过增强处理的图或一组特征图这样融合模块才有足够的信息来做取舍。我理解这套设计的关键在于分支之间是“并行且异构”的。并行保证了不同任务可以同时处理提高信息吞吐异构保证了不同分支可以用不同的感受野、不同的特征深度去关注退化的不同侧面。2.2 特征提取模块给多分支准备“米”特征提取模块的作用相当于给后面所有分支准备原材料。它通常由多个卷积层堆叠而成图像输入后经过一系列卷积、激活和步长操作生成不同尺度的特征图。为什么需要多尺度特征因为暗部的退化信息分布在不同的空间尺度上。细小纹理比如墙上的裂缝体现在浅层特征里而整体光照分布的规律体现在高层语义特征里。如果只用最后一张特征图细节早就丢了如果只用浅层特征整体明暗结构又学不出来。论文里的特征提取网络本质上是在构建一个特征金字塔后面的每个分支从其中某一层或某几层取特征。我复现时觉得这个模块很像一个浅层的编码器但又不完全做下采样到最后再上采样而是保留了丰富的时间维信息确保后面每个分支都能拿到“材料对口”的特征。2.3 多分支增强模块各分支到底在管什么事这是MBLLEN的绝对核心。论文中设置多个增强分支每个分支接收特征提取模块不同层的输出。不同分支的卷积结构、通道数可能不同因此它们关注的信息也有差异。从实验现象和经验来看各分支大致会自发分成这么几类亮度恢复分支主要负责学习暗区和亮区的亮度映射关系输出结果主导了最终的曝光水平。通常这个分支会大量学习到类似伽马曲线的非线性变换行为。纹理细节分支主要关注高频信息负责锐化边缘、恢复被暗夜吞掉的细节让输出图像不会发糊。色彩校正分支主要处理暗光下的颜色偏差尤其是在混合光源场景里这个分支能明显把偏黄、偏绿的画面拉回正常色温。全局一致性分支关注图像整体亮度分布是否自然避免出现局部过曝或局部仍然很暗的“花脸”效果。这些分支最后各自输出一张增强图。由于分支之间结构上彼此独立梯度回传时也不会互相干扰这相当于隐式地对多个子任务做了解耦。2.4 融合模块不是简单平均是“智能取舍”多个分支并排跑完后必然出现一种情况某分支在细节区做得很好但亮区可能提过头了另一个分支颜色很自然但暗部恢复得不够。这时就需要融合模块来做决策。融合模块的做法通常是先把所有分支的输出在通道维度上拼接起来然后通过卷积层学习一套逐位置、逐通道的融合权重。这相当于让网络自己判断在这个像素位置上到底该更多相信哪一个分支的输出。这比朴素的加权平均或直接取最大亮度要聪明得多。因为难处理的暗部区域细节分支的权重会被调高而过曝的边缘区域亮度分支的权重会被压低。从实现上讲融合模块一般比较浅几层卷积加一个激活函数就够了核心任务是学出一个好的时空权重场。这里想强调一个观点很多人把多分支结构理解为“什么都要越多越好”但实际效果好坏主要取决于分支之间是否有足够的差异性。如果所有分支结构完全相同输入特征也差不多那它们学出来的东西会高度相似融合模块再强也没意义。MBLLEN之所以有效是因为它让不同分支从特征提取模块的不同深度取特征这一下就把分支间的差异拉开了。3. 训练数据与损失函数怎么设计模型才学得动3.1 成对数据从哪来弱光增强主流训练方式是有监督学习需要成对的暗光图像和对应的正常光图像作为监督信号。最理想的情况是用同一场景、同一机位分别拍摄暗光和正常光照片。实际操作时这个条件很难严格满足因为相机参数、拍摄时刻的光线变化都会引入影响。公开的低光配对数据集是试验阶段最方便的选择。MBLLEN论文也使用了公开数据集或自建数据来做训练和评测。数据量方面这类深度学习模型通常需要至少几千到上万张图像才能稳定收敛。如果数据不够靠随机裁剪、翻转、旋转、色彩抖动这些数据增强手段也能缓解。有一点容易被忽略训练时图像边缘区域的增强效果通常会比中间区域差。这主要是卷积的边界填充导致感受野不完整。所以训练时尽量多做随机裁剪并且保证裁剪区域有一定重叠可以缓解边界伪影问题。3.2 多损失组合像素、结构、感知三管齐下只用一个损失函数很难把弱光增强做好。MBLLEN论文采用多损失组合训练总损失由三部分组成这样的设计很值得学习。第一部分是像素级损失最常用的是L2均方误差或L1平均绝对误差。它约束增强结果和正常光参考图在像素值上接近。但L2损失有个臭名昭著的问题——会让结果趋向平滑因为减少L2的最优策略往往是把边缘模糊掉。所以它不能作为唯一的损失。第二部分是结构相似性损失SSIM loss用来约束输出图像与参考图之间的局部亮度、对比度和结构一致性。它比逐像素损失更接近人的视觉感知能有效保住边缘和局部纹理避免图像看起来“肉肉的”。第三部分是感知损失一般基于在ImageNet上预训练的VGG网络。把输出图和参考图同时送入VGG取中间若干层的特征图计算这些特征图之间的L2距离。感知损失约束的不是“像素长得一样”而是“在高层语义特征上接近”。这能帮助网络学会恢复更自然的人眼感知内容而不是死板地追像素值。论文中的总损失可以写成类似这样的形式 L λ1 * L_pixel λ2 * L_ssim λ3 * L_perceptual三个权重λ1、λ2、λ3之间需要反复调整。从我的经验看像素损失权重太大结果偏平滑感知损失权重太大可能会产生不真实的纹理“幻觉”SSIM损失则相对温和可以稍微多给一点。3.3 训练细节里的门道训练这类模型patch size、batch size、学习率和优化器的选择都会明显影响最终效果。常见做法是把训练图像裁剪成固定尺寸的小块再送入网络例如256x256或更小。为什么不用整张图一方面显存有限另一方面用小patch训练反而起到隐式数据增强的作用。MBLLEN作为相对早期的深度方法网络的参数量不算大通常使用Adam优化器、初始学习率设置在0.001或0.0001的量级配合学习率衰减策略训练几十到上百个epoch就能收敛得不错。训练时需要关注一个现象模型在验证集上的PSNR可能涨得很好但人眼看着“不对劲”。这种情况往往是因为像素级损失主导了训练而感知、结构损失没有真正发挥平衡作用。我的建议是训练过程中不只盯着数值指标每周都抽样出一批真实场景图用肉眼过一遍感受图像的噪声水平、颜色自然度和过曝情况再决定要不要调损失权重。4. 实验指标和同类方法对比强在哪、弱在哪4.1 评价一个增强模型光看PSNR远远不够弱光增强的评测通常分两类全参考指标和无参考指标。全参考指标需要一张正常光图像作为参考最常用的是PSNR和SSIM。PSNR全称是峰值信噪比单位是dB它直接度量增强结果与参考图之间逐像素的差异数值越高说明重建误差越小。但PSNR对“感知质量”并不敏感两张肉眼看起来很像的图像PSNR可能相差很大反之PSNR很高的图像人眼也可能觉得不自然。SSIM度量的是局部窗口内的亮度、对比度和结构相似度取值范围在0到1之间越接近1越好。它比PSNR更贴近人眼感知。弱光增强任务里通常要求PSNR和SSIM一起看两个都高才算效果好。另外还需要主观评价。因为低光图像本身暗部信息缺失严重增强结果往往是“补”出来的参考图里也没有标准答案。所以很多论文会额外展示主观对比图让读者直接看暗部细节是否自然、夜间高光区域有没有过曝、肤色是否正常等。这也是MBLLEN论文花大量篇幅展示可视化结果的原因。4.2 和传统方法比优势体现在噪声和色彩控制上论文里的对比方法包括HE、伽马校正、MSRCR、SRIE、LIME以及早期的深度方法LightenNet、RetinexNet等。表格式的对比结论大致如下方法原理类别优点主要缺点HE直方图均衡速度快、实现简单噪声放大严重色彩容易偏移伽马校正像素映射可调节性强暗部细节仍然不足噪声放大MSRCR多尺度Retinex亮度提升明显易产生光晕和颜色过饱和SRIE加权估计Retinex光照估计较平滑对强噪声场景鲁棒性差LIME光照图优化暗部提升自然光照图错误会导致局部失真早期深度方法单分支CNN学习能力强多退化维度处理不足MBLLEN多分支CNN亮度、细节、色彩分离训练数据依赖强、网络较复杂从实验结果看MBLLEN在PSNR和SSIM两项指标上都高于多数传统方法主观视觉上最明显的提升在于暗部噪声压制得比较干净图像颜色更接近真实场景强光区域也不容易出现过度曝光的“死白”。4.3 消融实验说明了什么论文里一个很重要的验证手段是消融实验。做法是去掉某个模块或改动结构观察指标变化以此证明每个设计都不是摆设。我印象比较深的结论有两类一是去掉多分支结构退化成单分支后输出图像的细节恢复能力和颜色自然度明显下降二是把融合模块替换成简单的平均或求和结果会出现明显的亮度堆叠不均和局部过曝。这些都说明“分治”和“融合”两个环节是互相成就的少了哪一个另一个都会失效。消融实验对复现者有很强的指导意义。如果你在应用场景里发现MBLLEN效果不够理想可以试着裁剪或修改其中某个分支观察效果变化而不是一上来就用完整模型盲跑。5. 复现和落地时我踩过的坑与改进思路5.1 复现训练阶段的三个坑第一个坑是数据配对质量不够好。MBLLEN这种有监督模型对参考图质量非常敏感。如果参考图本身亮度正常但噪点很多模型学到的输出会产生奇怪的平均效果如果参考图与输入图像之间有轻微的位移错位网络会拼命去学“对齐”而不是“增强”结果就是边缘出现重影。解决办法是训练前对数据做严格的预处理人工抽检配对图像剔除错位严重的样本尽量用同一相机同一模式拍摄的配对图像减少传感器响应差异带来的干扰。第二个坑是损失权重不好调。L2、SSIM、感知损失的量纲不同直接套论文里的参数可能需要重新调整。我在实际训练中通常先固定SSIM权重然后微调L2和感知损失的比以验证集的主观视觉为准。第三个坑是显存不足。虽然MBLLEN网络结构不臃肿但多分支同时进行前向和反向传播显存占用会比同参数量单分支模型高不少。解决办法是降低patch size、减小batch size或者用梯度累积在显存受限的情况下也能保持稳定训练。5.2 推理部署时的注意事项到了实际产品里弱光增强往往不是终点而是前置预处理模块。把它接到目标检测、人脸识别或者视频监控链路里时有几个问题需要特别注意。第一是耗时。多分支结构天然比单分支模型耗时更多。在CPU上处理1080p图像时帧率往往达不到实时。如果部署在移动端或边缘设备上可以考虑以下优化对输入图像先做降采样增强完成后再放大回原尺寸使用TensorRT等加速库做算子融合把某些分支的卷积替换成深度可分离卷积。第二是视频时间一致性。单帧增强模型独立处理每一帧帧与帧之间很容易出现亮度闪烁。原因是暗光视频的噪声是随机变化的模型在相邻帧上做出的增强决策可能不一样。解决思路是加入三分量滤波或时序光流对齐或者直接在视频数据集上做时域一致性训练。第三是阈值附近的极端亮度。夜间图像里经常有车灯、路灯这类高强度小区域。增强网络可能把这类区域推到过曝导致一片死白丢失交通标志等重要目标。实际应用时可以在融合输出后加一层高光保护把原始输入中亮度极高的区域与原图亮度做融合防止信息彻底丢失。5.3 从MBLLEN延伸出的改进方向MBLLEN的思想至今依然有拓展空间。以下几个方向是业内比较活跃的也适合做成自己的实验项目引入光照估计作为辅助监督在主干网络外额外预测光照图再用光照图引导多分支的注意力能进一步增强区域自适应性。加入可变形卷积让分支里的卷积感受野可以自适应偏移在复杂纹理区域恢复细节效果更好。和多任务学习结合比如把增强头和人脸检测头、语义分割头放在同一个网络里联合训练让增强模块感知下游任务的需求效果往往比分步处理更稳定。无监督或弱监督化用真实弱光图加自监督损失例如约束同一场景连续帧之间的一致性减少对配对数据的依赖。从个人体会来说我在复现MBLLEN时最大的收获不是拿到了一套好用的低光增强权重而是学会了“把复杂问题拆成多个子任务再让网络去决定如何融合”的建模思路。后面我做过夜景语义分割和低光人脸检测都在不同程度上借鉴了这种多分支加融合的框架效果比单一大网络要好。如果你也想在弱光增强方向上继续深入强烈建议先把MBLLEN从原理到代码完整过一遍再基于这套多分支思路去发展自己的方案。