1. 项目概述从浑浊到清澈Sea-thru如何重塑水下视觉水下摄影和视觉分析一直是海洋科研、考古勘探乃至休闲潜水爱好者面临的巨大挑战。我们拍到的水下照片和视频常常被一层“蓝色或绿色的面纱”所笼罩细节模糊、色彩失真对比度极低。这背后的元凶是光线在水中的传播特性——吸收与散射。传统的水下图像增强方法无论是简单的白平衡调整还是基于深度学习的端到端去雾模型大多是在“猜测”和“模拟”真实场景它们往往缺乏坚实的物理基础处理结果可能颜色怪异、细节过度锐化或引入伪影。今天要深入研读的这篇论文《Sea-thru: A Method For Removing Water From Underwater Images》由海洋学家和计算机视觉科学家Derya Akkaynak与Tali Treibitz合作提出它带来的是一种颠覆性的思路。Sea-thru的核心不是“增强”图像而是“物理地移除水”。它通过一个严谨的成像模型将水对光的影响即后向散射和衰减从图像中精确地分离并扣除最终输出一幅理论上“没有水”的图像仿佛物体是在空气中被拍摄的一样。这种方法对于需要定量分析的海洋科学研究如珊瑚礁健康监测、物种识别具有革命性意义因为它恢复了物体真实的反射率信息而不仅仅是让图片“看起来好看”。简单来说如果你是一名海洋生物学家你需要通过图像精确判断珊瑚的颜色变化来评估其白化程度Sea-thru提供的数据将远比任何滤镜或增强算法来得可靠。它 bridges the gap弥合了差距 了计算机视觉的炫技与海洋科学实际需求之间的鸿沟。接下来我将带你深入这篇论文的每一个技术细节并分享在实际复现和应用中的关键心得与避坑指南。2. 核心原理拆解理解水下成像的物理本质要理解Sea-thru为何有效必须首先抛弃对图像“修图”的思维转而建立“物理反演”的视角。这就像法医从一枚沾满泥土的指纹中提取纯净的纹路我们需要的是一个精确描述泥土如何污染指纹的模型。2.1 水下成像物理模型Jaffe-McGlamery模型的现代表述Sea-thru方法建立在经典的水下光学成像模型之上该模型将到达传感器的总光强 \(I\) 分解为三个分量\(I(x) J(x)t(x) B_{\infty}(1 - t(x))\)让我们拆解这个公式中的每一个符号\(I(x)\) 我们在像素点 \(x\) 处实际拍摄到的图像强度值就是你的RAW或RGB数据。\(J(x)\)这是我们最终想要求解的“去水后”图像即物体在空气中、未被水介质影响时应有的反射光强。它直接对应物体的反射率是科学分析的黄金标准。\(t(x)\)透射率图。它描述的是来自物体表面的直接光即 \(J(x)\)在到达相机途中有多少比例没有被水和悬浮粒子吸收或散射掉。\(t(x)\) 的值在0到1之间距离越远或水质越浑浊\(t(x)\) 越接近于0。\(B_{\infty}\)背景散射光或称为体散射光。这是指那些从未照射到物体而是直接被水中悬浮粒子散射进入相机镜头的光线。它通常被假设为在图像中均匀分布或随深度缓慢变化是导致图像蒙上“雾霾”并产生颜色投射通常是蓝/绿色的主要原因。注意这个模型做了一个关键简化即假设背景散射光 \(B_{\infty}\) 在局部区域是均匀的。这在开阔水域、相机距离物体较近通常几米内时是合理的但在极其浑浊或存在强烈局部光源如潜水手电的水域这个假设可能会失效。2.2 Sea-thru的创新核心从“估计”到“求解”传统的水下图像复原方法包括许多深度学习模型可以看作是在“估计” \(J\)。它们通过大量数据训练网络学习从 \(I\) 到 \(J\) 的复杂映射但这个映射是黑箱的且严重依赖训练数据分布。Sea-thru的革命性在于它将问题转化为一个基于物理模型的参数求解问题。如果我们能通过一些手段相对准确地估计出模型中的参数 \(t(x)\) 和 \(B_{\infty}\)那么我们就可以直接通过代数运算“求解”出 \(J(x)\)\(J(x) \frac{I(x) - B_{\infty}}{t(x)} B_{\infty}\)看公式变得如此“简单”。但魔鬼藏在细节中如何鲁棒、准确地估计 \(t(x)\) 和 \(B_{\infty}\)正是Sea-thru论文贡献的精髓所在。它不依赖大数据训练而是依赖对场景的物理理解和一些巧妙的先验信息。2.3 颜色通道的差异化处理为何不是简单的灰度去雾陆地上的去雾算法如暗通道先验通常将透射率 \(t\) 视为一个灰度图认为它对RGB三通道的影响是一致的。但在水下这是致命的错误。水对光线的吸收具有强烈的波长依赖性红光长波衰减最快在几米内就可能被完全吸收蓝绿光短波穿透力最强。这意味着对于同一物体、同一距离红光通道的透射率 \(t_R(x)\) 远小于蓝光通道的透射率 \(t_B(x)\)。背景散射光 \(B_{\infty}\) 也是一个三维向量 \((B_R, B_G, B_B)\)其值由水体的光学性质和环境光照共同决定通常蓝绿通道的值远高于红通道。因此Sea-thru必须对RGB三个颜色通道分别建立并求解成像方程。这极大地增加了问题的复杂性但也正是其恢复真实色彩能力的根源。论文中通过估计水体的衰减系数一个与波长相关的物理量来推导各通道的透射率将水光学知识紧密地整合了进来。3. 算法实现步骤深度解析理解了物理模型我们来看Sea-thru如何一步步将其实现。整个过程可以概括为四个关键阶段我将结合论文和实际代码实现中的细节进行解读。3.1 数据采集与预处理不止是一张照片Sea-thru的输入并非单张图像而是一组在固定视角下、包含不同拍摄距离的物体或标定板的图像序列。这是整个方法的基石目的是为了估算水体的光学特性。1. 距离信息的获取这是最具挑战性的一环。论文原版方法依赖于一个激光测距仪或已知尺寸的标定板如棋盘格。在拍摄时需要记录图像中多个特征点如标定板角点到相机的实际物理距离单位米。实操心得在科研场景下使用带激光测距的潜水相机套件是最准的。对于爱好者或条件有限的复现可以尝试使用已知尺寸的物体例如一个边长为30厘米的方形板作为参照物。通过图像识别算法检测该物体并根据其像素尺寸与实际尺寸的比例结合相机焦距可从EXIF信息获取来粗略估算距离。这种方法在近距离1-3米且物体正对相机时有一定可行性但误差会随距离增大而急剧增加。注意事项距离图的精度直接决定最终复原效果。距离误差会导致衰减系数估计错误进而使透射率图失真在复原图像中表现为颜色异常或细节扭曲。务必保证距离测量点覆盖图像的不同深度区域。2. 图像序列拍摄要求固定相机位置、焦距、光圈、ISO。仅改变对焦距离或移动标定板拍摄一组通常5-10张包含清晰标定板且标定板位于不同距离的图像。所有图像应在相同光照条件下短时间内拍摄完成以保证水体光学性质稳定。3. 预处理将图像从sRGB色彩空间转换到线性RGB空间。相机原始的RAW数据或经过线性化处理的图像是最佳输入。因为成像模型是线性的在sRGB这种经过伽马校正的非线性空间直接运算会引入误差。对齐图像序列如果相机有轻微抖动。可以使用SIFT特征匹配和单应性变换进行精细对齐。3.2 关键参数估计求解水的“指纹”有了带距离信息的图像序列我们就可以开始估计模型的核心参数了。3.2.1 估计背景散射光 \(B_{\infty}\)在单张图像中\(B_{\infty}\) 通常被认为是图像中最“亮”且最“均匀”区域的像素值因为这些区域几乎没有物体的直接光贡献\(J(x)t(x) \approx 0\)我们看到的主要是散射光。Sea-thru利用多张图像来更鲁棒地估计它。方法对于图像序列中的每一张图选取一个假设为“无穷远”或没有物体的区域如远处的模糊背景计算该区域的像素中值或均值。然后对所有图像的这个值取平均或进行鲁棒性估计如取中位数得到最终的 \(B_{\infty}\) 向量。避坑技巧千万不要选择有光源如潜水灯直射或明亮生物如水母的区域。选择那些纹理模糊、颜色均一的暗部背景区域更为可靠。可以尝试对图像进行超像素分割选择最大、最均匀的超像素块来计算。3.2.2 估计水体衰减系数 \(c(\lambda)\)这是连接物理距离与光学衰减的桥梁。衰减系数描述了光在特定波长下水中的衰减速度。Sea-thru通过分析图像序列中同一物体如标定板的白色部分在不同距离下的亮度变化来估计它。原理根据成像模型对于一块已知反射率例如标定板的白色块假设其反射率 \(J\) 为1的物体在不同距离 \(d\) 处拍摄到的像素值 \(I(d)\) 满足\(I(d) \approx t(d) B_{\infty}\)且 \(t(d) e^{-c \cdot d}\)。通过对数变换我们可以得到\(-\ln(I(d) - B_{\infty}) \propto c \cdot d\)。操作在每张图像中提取标定板白色区域的像素均值。以距离 \(d\) 为横轴以 \(-\ln(I - B_{\infty})\) 为纵轴对RGB三个通道分别做线性拟合。拟合所得直线的斜率就是该通道的衰减系数 \(c_R, c_G, c_B\)。常见问题如果数据点不同距离下的亮度值线性关系不好可能是由于1) 距离测量不准2) 选取的白色区域受阴影或光照不均影响3) 水体光学性质在拍摄期间发生了变化。此时需要检查数据并剔除异常点。3.3 计算透射率图与图像复原一旦我们获得了全局的 \(B_{\infty}\) 和衰减系数 \(c\)就可以处理任何在该相同水体环境下拍摄的单张图像了。1. 生成距离图 \(D(x)\)对于待复原的图像我们需要一张与图像同分辨率的距离图标明每个像素对应的场景点到相机的距离。论文中这通常来自RGB-D相机或通过立体视觉计算得到。对于普通2D图像这是一个巨大的挑战。替代方案这也是当前研究和工程化的热点。可以使用单目深度估计网络如MiDaS来预测一个相对深度图。虽然其绝对尺度不准但深度变化的相对关系是可靠的。我们可以利用前面估算标定板时得到的“真实距离-像素深度值”对应关系对这个相对深度图进行尺度对齐得到一个近似的绝对距离图。这是复现Sea-thru时最常用的折中方案。2. 计算通道相关透射率图 \(t_{\lambda}(x)\)利用估计的衰减系数和距离图直接按物理公式计算 \(t_{\lambda}(x) e^{-c_{\lambda} \cdot D(x)}\) 这里 \(\lambda\) 代表R, G, B通道。这样就得到了三个通道各自不同的透射率图。距离越远\(t\) 越接近0红光通道的 \(c_R\) 最大所以其 \(t_R\) 衰减最快。3. 执行复原运算将 \(I(x)\), \(B_{\infty}\), \(t_{\lambda}(x)\) 代入复原公式 \(J_{\lambda}(x) \frac{I_{\lambda}(x) - B_{\infty, \lambda}}{t_{\lambda}(x)} B_{\infty, \lambda}\) 逐像素、逐通道进行计算。4. 后处理数值截断由于噪声和估计误差计算出的 \(J(x)\) 可能出现负值或远大于1的值假设像素值归一化到[0,1]。需要进行截断如clip到[0, 1]。颜色平衡与调整理论上复原后的图像颜色应该自然。但由于各种误差可能整体仍存在色偏。可以进行一次轻度的全局白平衡例如基于灰度世界假设进行微调。转换回sRGB将线性RGB空间的 \(J(x)\) 转换回标准的sRGB空间用于显示和存储。4. 复现实践与工程化挑战纸上得来终觉浅绝知此事要躬行。在尝试复现和应用Sea-thru算法时会遇到一系列论文中未详述的工程挑战。4.1 工具链与代码实现参考原论文作者在GitHub上提供了非官方的Matlab实现原型。对于更通用的复现Python生态是更好的选择。核心依赖库OpenCV用于图像读写、色彩空间转换、特征点检测与图像对齐。NumPy/SciPy用于矩阵运算、线性拟合等数值计算。PyTorch/TensorFlow如果使用深度学习网络进行单目深度估计则需要其中之一。rawpy如果需要处理相机RAW文件以获得线性图像。复现步骤概览数据准备模块编写脚本读取图像序列和对应的距离注释文件如JSON格式存储标定板角点的图像坐标和真实距离。参数估计模块实现图像对齐功能。实现从图像序列和距离信息中拟合估算 \(B_{\infty}\) 和 \(c_{\lambda}\) 的算法。关键实现鲁棒的线性拟合能处理异常数据点。深度估计模块集成一个预训练的单目深度估计模型如DPT-Hybrid from MiDaS并实现将相对深度图缩放至绝对距离图的逻辑。这通常需要至少一对“图像-真实距离”作为参考点。复原模块实现透射率图计算和最终的复原公式。注意处理除零透射率接近0的情况通常加一个极小值如1e-6防止数值不稳定。可视化与评估模块对比原始图与复原图并可以计算一些无参考图像质量指标如UIQM、UCIQE进行量化评估尽管这些指标与物理精度并非完全一致。4.2 核心难点与解决方案实录难点一高精度距离信息的获取这是限制Sea-thru广泛应用的最大瓶颈。没有准确的距离图一切皆空。解决方案A高精度使用水下激光雷达或结构光3D扫描仪。成本极高仅适用于特定科研项目。解决方案B折中使用双目立体视觉系统。需要精确标定两个相机且在水下光线弱、纹理少的环境下立体匹配非常困难容易产生空洞和噪声。解决方案C实用化单目深度估计 稀疏真实点标定。这是目前最有前景的工程化路径。用深度网络预测稠密相对深度图然后通过在场景中放置少量已知尺寸的标定物或在拍摄时用测距仪测量几个特征点的距离将这些“稀疏的真实距离点”作为锚点对整个相对深度图进行非线性缩放得到近似绝对距离图。实测中只要能有5-10个分布在不同深度上的准确距离点缩放后的距离图就能取得相当不错的效果。难点二水体光学性质的非均匀性论文假设水体光学性质\(c_{\lambda}\) 和 \(B_{\infty}\)在拍摄场景内是均匀的。但在近岸、河口或存在浮游生物水华的水域水质可能在空间上变化。解决方案将图像分割成多个区块例如使用超像素分割假设每个区块内水质均匀分别估计各区块的 \(B_{\infty}\) 和 \(c_{\lambda}\)。这相当于一个局部化的Sea-thru算法计算复杂度会增加但能更好地处理非均匀水体。在实现时需要谨慎处理区块边缘的过渡避免出现颜色分块现象。难点三处理低信噪比特别是红通道区域在深度稍大或浑浊的水中红通道信号非常微弱几乎被噪声淹没。在复原公式中对红通道进行 \((I_R - B_{\infty,R}) / t_R\) 的运算会极大地放大噪声导致复原图像的红通道充满彩色噪点。解决方案预处理降噪对原始图像的每个通道特别是红通道进行有效的降噪处理如BM3D、非局部均值去噪。正则化约束不直接使用原始的复原公式而是将其构建为一个优化问题为目标函数增加正则项。例如增加一个项来约束复原图像 \(J\) 的梯度平滑性或者约束其颜色分布符合自然图像统计特性。这可以有效抑制噪声放大。通道间相关性利用自然图像中RGB通道是相关的。可以利用绿通道和蓝通道信息它们信噪比高来引导红通道的复原例如通过跨通道的先验或学习到的映射关系。4.3 效果评估不只是“看起来好”评估Sea-thru的结果不能只看肉眼观感。对于科学应用我们需要定量评估。颜色一致性检查拍摄一个已知颜色的色卡如ColorChecker置于水下不同距离。复原后检查色卡上色块的RGB值是否与在空气中拍摄的参考值一致。计算色差指标如ΔE。纹理与细节保持观察复原图像中物体的边缘锐利度和纹理细节是否得到保持而非被过度平滑或产生光晕伪影。可以使用无参考的图像清晰度指标辅助判断。对比度恢复计算复原图像的整体对比度例如标准差是否得到合理提升但不过度。个人体会在复现过程中我发现最影响主观效果的往往是距离图的平滑性和背景光 \(B_{\infty}\) 估计的准确性。一个噪声大的距离图会产生“斑驳”的复原效果而 \(B_{\infty}\) 估计偏大会导致整个图像复原后发白、对比度不足估计偏小则会导致颜色过饱和、暗部细节丢失。因此花80%的精力优化这两个参数的估计流程是值得的。5. 常见问题与排查技巧速查表在实际操作中你可能会遇到以下典型问题。这里提供一个快速排查指南。问题现象可能原因排查与解决思路复原图像整体偏白、发雾背景散射光 \(B_{\infty}\) 估计值过高。检查用于估计 \(B_{\infty}\) 的图像区域是否真的“空旷”。尝试手动选择一个更暗、更均匀的背景区域重新计算。复原图像颜色过饱和、出现色块1. \(B_{\infty}\) 估计值过低。2. 距离图不准确导致透射率 \(t\) 估计错误。3. 水体衰减系数 \(c\) 估计不准特别是红通道。1. 同上调整 \(B_{\infty}\) 估计区域。2. 检查深度估计算法确保距离图与场景几何大致吻合。对距离图进行轻度高斯滤波可能有助于平滑噪声。3. 检查标定板数据拟合的线性度剔除异常亮度值点。图像暗部出现彩色噪声特别是红紫色噪点红通道信号弱复原时噪声被严重放大。1. 对原始图像的红通道进行降噪预处理。2. 在复原公式的分母透射率 \(t\)上加一个很小的常数如0.1限制放大倍数。3. 考虑使用更复杂的正则化复原框架而非直接逆运算。复原后物体边缘有光晕或黑边距离图在物体边缘处不够精确或存在深度不连续导致透射率图在边缘处突变。1. 使用更先进的、边缘保持性的深度估计算法。2. 对复原图像进行导向滤波以原始图像的亮度或梯度为引导平滑光晕区域。不同距离的同类物体颜色不一致水体光学性质非均匀但使用了全局统一的 \(c\) 和 \(B_{\infty}\)。尝试将图像分块进行局部参数估计和复原即局部Sea-thru算法。算法对远处物体无效一片模糊当物体距离很远时其直接光信号 \(J(x)t(x)\) 极其微弱接近甚至低于噪声水平。此时逆问题病态无法复原。接受物理极限。Sea-thru适用于中近距离通常水下相机拍摄的几米范围内的物体复原。对于远景可将其视为背景用估计的 \(B_{\infty}\) 直接替代。最后再分享一个小技巧在开始复杂的参数估计前不妨先用一些简单方法对图像做一个预处理例如使用一个基于灰度世界假设的白平衡或者一个简单的直方图拉伸。这有时能立刻改善视觉效果并可以作为Sea-thru复原结果的对比基准。Sea-thru的强大在于其物理可解释性和为科学分析提供的定量数据基础而对于一些实时性要求高、精度要求稍低的应用如潜水视频预览结合了深度学习与物理模型轻量化版本可能是更优的选择。理解其原理能帮助你在众多水下图像处理方案中做出最适合自己需求的技术选型。