072、激光对焦与ToF辅助AF：深度信息融合在暗光对焦中的优化

072、激光对焦与ToF辅助AF深度信息融合在暗光对焦中的优化一、一个让我失眠的暗光对焦Bug2019年某旗舰机项目暗光场景下对焦成功率只有67%。用户反馈“晚上拍照像喝醉了一样”产品经理每天追着我问“什么时候能fix”。我蹲在实验室连续调试了三个通宵发现PDAF在10lux以下基本失效——相位检测像素信噪比太低correlation曲线直接躺平。更诡异的是激光对焦在某些纹理表面比如黑色皮革会给出完全错误的距离值导致镜头直接拉到微距端拍出来一片模糊。这个案例让我意识到单一对焦技术都有“死穴”只有把激光/ToF的深度信息与PDAF/contrast AF做深度融合才能在暗光下实现“指哪打哪”的对焦体验。二、激光对焦与ToF的物理本质差异很多人把激光对焦和ToF混为一谈调试时踩过坑才知道它们完全是两码事。激光对焦Laser AF用的是VCSEL垂直腔面发射激光器发射850nm或940nm的红外激光通过三角测距原理计算距离。它的核心优势是单点精度极高——在0.1-2米范围内误差可以做到±1%。但致命缺陷是只能测一个点遇到玻璃、镜面、黑色吸光表面直接“翻车”。我遇到过最离谱的情况是用户对着黑色大理石台面拍照激光反射率只有3%接收端根本收不到信号AF直接进入“盲搜”模式。ToFTime of Flight则完全不同。它发射调制光通常是850nm通过测量发射和接收的相位差来计算距离。ToF能输出整张深度图比如240×180的深度矩阵每个像素都有距离信息。但ToF的精度受限于调制频率和积分时间——近距离1米精度约±2%远距离5米会劣化到±10%。更坑的是ToF在强环境光比如阳光直射下容易饱和深度图会出现“空洞”。经验总结激光AF是“狙击枪”ToF是“霰弹枪”。狙击枪准但视野窄霰弹枪视野宽但精度有限。暗光对焦优化的核心就是让它们“打配合”。三、深度信息融合的工程架构我在项目中设计的融合架构分为三层每一层都有血泪教训。第一层数据对齐层激光AF的测距点需要映射到sensor坐标系。这里踩过一个大坑激光发射器和接收器之间有物理偏移通常几毫米如果不做标定测出来的距离在近摄20cm时会有显著偏差。标定方法很简单——在10cm、20cm、50cm、1m、2m处分别放置标准灰卡记录激光测距值与实际距离的偏差拟合一个二次补偿曲线。别偷懒用线性补偿激光的三角测距误差在近端是非线性的。ToF深度图需要和主摄sensor做像素级对齐。ToF的分辨率通常远低于主摄比如ToF是QVGA主摄是48MP需要做上采样。我试过双线性插值、边缘导向插值最终发现用“深度引导的联合双边滤波”效果最好——利用主摄的亮度边缘信息来指导深度图插值避免深度边缘模糊。代码实现时注意双边滤波的sigma_r参数要根据场景动态调整暗光下加大sigma_r因为纹理少需要更多平滑亮光下减小sigma_r保留边缘细节。第二层置信度评估层这是融合成败的关键。每个深度源都要给出置信度分数不能“无脑融合”。激光AF的置信度评估看接收信号的强度RSSI。我在驱动层加了一个寄存器读取接口RSSI低于某个阈值比如50时激光数据标记为“低置信度”。另外连续两次测距值的差值超过20%时也标记为“不可信”——这通常意味着被测物体在移动或者表面反射异常。ToF深度图的置信度评估更复杂。我用了三个指标幅度图Amplitude MapToF每个像素的接收信号强度幅度低于阈值比如100的像素标记为“无效”。一致性检查Consistency Check对每个像素用周围3×3邻域的深度值做中值滤波如果当前像素与中值的偏差超过阈值比如15%标记为“异常点”。运动检测连续两帧深度图做差分变化剧烈的区域标记为“运动区域”这些区域的深度值在融合时权重降低。第三层融合决策层融合策略不是简单的加权平均而是根据场景动态切换。场景1暗光静态场景30lux无运动PDAF基本失效contrast AF速度慢。此时以激光AF为主ToF为辅。具体做法激光给出一个“粗调”目标位置比如距离50cm然后在这个位置附近用ToF深度图做“精调”——在激光测距点对应的ToF像素周围5×5窗口内取深度中值作为最终距离。这样既利用了激光的高精度又通过ToF的邻域信息消除了激光的单点噪声。场景2暗光运动场景30lux有运动激光AF的RSSI可能因为运动而波动ToF的运动检测区域也会标记大量无效点。此时切换到“混合搜索”模式用激光的连续测距值做卡尔曼滤波预测运动轨迹同时用ToF的深度图做区域平均避开运动区域两者做加权融合。权重根据运动速度动态调整——运动越快激光的卡尔曼预测权重越高因为ToF的运动区域无效点太多。场景3极暗光场景5lux激光AF的RSSI可能低到无法工作ToF的幅度图也惨不忍睹。此时只能靠contrast AF但需要深度信息来加速。我的做法是用上一帧的ToF深度图假设场景变化不大作为初始位置然后在这个位置附近做小范围contrast AF搜索。搜索范围根据深度置信度动态调整——置信度高时搜索范围缩小到±10个step置信度低时扩大到±50个step。这里有个trick如果连续3帧contrast AF都找不到峰值强制触发一次“全范围搜索”防止陷入局部极值。四、代码实现中的“坑”与“药”坑1激光AF的I2C读取时序// 别这样写连续读取激光测距值不做延时uint16_tlaser_distanceread_laser_register(0x10);// 激光模块需要等待测量完成通常需要5-10ms// 正确做法uint16_tlaser_distance0;write_laser_register(0x00,0x01);// 触发测量usleep(8000);// 等待8ms这里踩过坑5ms不够某些模块需要10mslaser_distanceread_laser_register(0x10);坑2ToF深度图的帧率匹配ToF的帧率通常是30fps主摄可能是60fps或更高。如果直接按帧同步会出现深度图滞后。我的做法是维护一个“深度图时间戳队列”主摄每帧到来时从队列中取时间戳最接近的深度图。如果时间差超过20ms半帧则用线性插值预测当前时刻的深度图。插值公式很简单depth_pred depth_prev (depth_next - depth_prev) * (t_curr - t_prev) / (t_next - t_prev)。注意运动场景下插值误差会增大此时需要降低插值权重直接使用最近一帧的深度图。坑3融合权重计算的数值稳定性// 别这样写直接除法可能除零floatweight_laserconfidence_laser/(confidence_laserconfidence_tof);// 正确做法加一个极小值防止除零floatepsilon0.001f;floatweight_laser(confidence_laserepsilon)/(confidence_laserconfidence_tof2*epsilon);// 另外confidence值需要归一化到0-1范围我习惯用sigmoid函数做映射floatnormalized_conf1.0f/(1.0fexpf(-alpha*(raw_conf-beta)));// alpha和beta需要根据实际数据统计确定我一般用直方图统计后取中位数作为beta五、调试工具与经验调试深度信息融合光看log是不够的。我写了一个“深度可视化工具”把激光测距点、ToF深度图、融合后的深度图叠加显示在预览画面上。不同颜色代表不同置信度绿色高置信度、黄色中等、红色低置信度。这个工具帮我发现了大量问题——比如某个场景下ToF深度图出现大面积红色低置信度排查发现是红外滤光片镀膜有缺陷导致环境光干扰。另一个有用的调试手段是“AF轨迹回放”。把每次AF的lens位置、激光距离、ToF深度、contrast value都记录下来用matplotlib画成曲线。有一次发现激光距离和ToF深度在某个距离段出现“背离”——激光显示50cmToF显示80cm。查了半天发现是激光模块的标定参数在低温下漂移了温度补偿没做好。六、个人经验性建议别迷信ToF的“深度图”很多方案商吹ToF能输出“毫米级精度”实际在暗光下能到厘米级就不错了。ToF的深度图更适合做“区域分割”而不是“精确测距”。我习惯把ToF深度图量化成几个离散区间比如0-20cm、20-50cm、50cm-1m、1m-3m、3m然后用激光AF在区间内做精确定位。激光AF的标定是“终身制”出厂标定一次是不够的。温度变化、模组老化都会导致激光测距偏移。我在驱动层加了一个“在线标定”功能当用户对着已知距离的物体比如人脸距离约30-50cm拍照时自动记录激光测距值与实际距离的偏差更新补偿参数。当然这个功能需要用户授权不能偷偷做。深度信息融合的“最后一公里”是lens驱动即使深度信息再准如果lens的步进马达响应慢或者有回差对焦体验还是差。我遇到过lens在某个位置来回震荡hunting的问题最后发现是马达的PID参数没调好。深度融合算法输出目标位置后需要加一个“平滑滤波器”防止lens突变——用指数移动平均EMA处理目标位置序列时间常数根据场景动态调整暗光下加大时间常数因为人眼对暗光下的对焦速度不敏感但对稳定性敏感。永远保留“退路”深度信息融合不是万能的。当所有深度源都给出低置信度时比如对着纯黑吸光表面必须回退到传统的contrast AF。我在融合算法里加了一个“超时保护”如果深度融合在500ms内没有给出收敛结果强制切换到contrast AF全范围搜索。这个保护机制救了我好几次——有一次在实验室测试时激光模块突然死机ToF也报错如果没有这个保护相机就会一直卡在“对焦中”状态。用户体验比技术指标更重要深度信息融合的最终目标是让用户感觉“快”和“准”。我见过一些方案对焦精度很高但速度慢比如需要1秒用户反而觉得不好用。我的经验是暗光下对焦时间控制在300ms以内精度允许有±5%的误差因为暗光下人眼对清晰度不敏感。如果为了追求1%的精度而把时间拖到500ms以上得不偿失。最后说一句深度信息融合没有银弹。每个项目的光学系统、sensor特性、激光/ToF模块都不一样必须针对具体硬件做调优。我见过有人把手机上的融合方案直接搬到车载上结果在强光下ToF饱和导致对焦失败。做Camera调试永远要对硬件保持敬畏。