TMM 2026SpikeVFuse用脉冲神经网络实现低理论能耗的红外与可见光融合1. 一句话总结SpikeVFuse面向红外与可见光图像融合Infrared and Visible Image FusionIVIF利用脉冲神经网络Spiking Neural NetworksSNNs整合互补信息以紧凑模型兼顾融合质量与理论计算能耗。2. 论文信息题目SpikeVFuse: Enhancing Infrared and Visible Image Fusion with Spiking Neural Networks | 利用脉冲神经网络增强红外与可见光图像融合发表TMM 2026作者Muhang Cheng、Hongwei Mo单位哈尔滨工程大学智能科学与工程学院代码https://github.com/cmuhang/SpikeVFuse下载10.1109/TMM.2026.37293903. 论文摘要现有的融合方法对于受限能耗部署的重视程度不够而脉冲量化、单向传播以及发放不可微等因素又制约了SNNs的应用。本文采用膜电位累加的方式来实现跨模态交互并且利用浅层双分支、深层双向调控和代理梯度训练在四个测试集中取得了较好的融合效果同时降低了理论上的计算能耗。4、主要创新之处创新1利用膜电位来完成跨模态的交互用两种模态不断交替输入并且让后面的编码受到前面膜状态的影响而不需要在各个模态专用分支之间设置独立的交互模块。创新2根据表征层次来设计脉冲模块浅层双分支缓解量化引起的细节丢失问题深层双向调节加强跨步依赖建模。创新3理论耗能之间关系进行检验融合并且下游实验验证有效稀疏脉冲计算和紧凑结构一起支持能效的优势。5. 方法详解5.1 问题的界定以及整个体系的大致结构输入同步采集的红外图和彩色可见光图输出彩色融合图。首先把可见光转换到YCbCr空间中来只进行亮度通道的融合然后用它原有的色度通道来恢复出彩色的结果。两种模态按照上述方式不断重复出现、 分别代表可见光亮度和红外图像 为输入序列、 分别为步索引和总的步数。上标表示的是输入的顺序并非实际拍摄的时间间隔。经过四个尺度的脉冲编码器、时间最大聚合以及轻量解码器之后序列被重构出来。泄漏积分发放Leaky Integrate-and-FireLIF神经元累加膜电位在编码的过程中不同模式之间一直存在着相互作用。插图的位置在图二处。图2融合范式以及SNNs计算特点的比较膜电位积累和稀疏脉冲计算。图3SpikeVFuse 整个过程和各个部分的结构分步输入、多层次编码、逐层放大并融合出结果。5.2 浅层双分支保留细节脉冲驱动双分支卷积块同时采用倒残差块和重参数化卷积块来加强细节表示。是输入 和 是两个分支特征 是一个脉冲神经元层 是输出。两条路径汇聚之后再做一次处理并且保留了输入残差RepConv推理的时候可以看作是一个 卷积。5.3 深层双向调制加强跨步依赖脉冲驱动双向调制卷积块(Spike-Driven Bidirectional Modulation Convolutional Block,SBMC)首先使用IRB来更新特征然后利用双向脉冲调制(Bidirectional Spike Modulation,BSM)把正向和反向的信息结合起来是经过IRB残差更新之后得到的新特征 是对应的脉冲信号 和 分别是调制分支和特征分支产生的结果它们分别对应着 和 而 则是特征分支所产生的结果。 表示反转步序的操作符 表示逐元素相乘运算符 表示一个大小为 的卷积操作。反序分支反转之后与另一组二值脉冲一起选择出特征并且增强了跨步之间的联系。5.4 重置和再学习人工神经网络解码器逐级上采样并且和对应的尺度特征相加来得到连续的亮度值在训练过程中使用Sigmoid作为代理梯度来解决脉冲发放不可微的问题从而实现端到端的优化。5.5 损失函数强度项保留重要的信息而纹理项则限制了边缘是融合亮度 是图像的高度和宽度。如果红外图像在 的区域内平均值大于可见光亮度则 否则为 并且有 。 表示Sobel梯度它的绝对值以及最大值都是逐个元素地计算出来的 和 分别表示平方误差和绝对误差之和。这两者都用来指导局部强度的选择以及强边缘的保留。一句话概括该方法就是通过膜电位串接两种模式来实现浅层保留细节、深层进行双向调控并且使用轻量级解码器进行重构。6. 实验结果6.1 实验条件MSRS的 1083 张图片用来做训练VIFB的 21 张图片用来做验证测试集包含MSRS、M3FD、LLVIP、FMB四个数据集其中MSRS数据集有 361 张图片M3FD数据集有 300 张图片LLVIP数据集有 50 张图片FMB数据集有 280 张图片。训练裁剪大小为 采用 Adam 优化算法批量大小为 8迭代次数为 100 次初始学习率为 每隔 20 次迭代就将学习率减半单张 RTX 4090 显卡默认设置下时间常量 基础通道数 。评价指标有熵EN、标准差SD、空间频率SF、互信息MI、 和视觉信息保真度VIF与 RFN-Nest、SeAFusion、SwinFusion、CDDFuse、YDTR、SHIP、UAA Fusion、SAGE、FusionBooster 进行比较。6.2 定量的结果MSRSEN、MI、、VIF四者最优值为6.7107、3.5201、0.7193、1.0759后两者比CDDFuse分别提高了0.0265和0.0250。LLVIPVIF0.9775$都很好其他四个稍差一些。M3FDSD39.2534最优EN、Qabf次之。FMBSD、VIF次之分别为39.0964、0.8847。表一四组数据在数量上进行比较用红色、蓝色和棕色来表示前三名。6.3 定性结果在示例里SpikeVFuse同时兼顾了红外目标和可见光纹理在低光照条件下还能保持文字的清晰度在有烟雾的情况下还可以增加红外结构的信息。插图的位置在图四处。图4MSRS和M3FD上各种融合方式的视觉对比。图5LLVIP和FMB上各种融合方式的视觉效果对比。下游的任务结果MSRS文献中所用到的双边注意力解码器把网络分成两部分来处理用交并比和它的平均值来衡量。SpikeVFuse的mIoU为76.36%小于 SwinFusion 的 76.42%而SpikeVFuse在 Curve 和 Color Cone 类别的表现最好M3FD使用的是YOLOv11在 840 张测试图片、6522 个实例的情况下平均精度均值mAP0.50.95达到0.614这是最好的结果。表二的位置表2 MSRS各个类别的划分结果和平均交并比。表3目标检测的量化的结果即准确率、召回率以及平均精度的均值。消融实验在模块替换实验里完整的模型EN、、VIF最好。用脉冲解码器之后各项都变差了最大聚合的时候VIF降到0.7316增大到T3可以稍微改善一些但是能耗也增加了默认情况下可见光先输入效果最好。神经元对照实验把学习率统一为再重新训练不能直接使用主实验的数据。表5SDBC和SBMC模块替换消融。表6不同神经元类型的消融实验。表7解码器结构消融。表8不同时间步长T的消融情况。表9不同输入帧排列方式的消融情况其中最好的结果用红色表示。6.6 模型复杂度参数量为0.204M比SAGE的大约0.136M要大一些MSRS全测试集累计理论计算能耗为7.580583焦耳小于SAGE的大约33.771024焦耳解码器消耗了大约6.244069焦耳占据了大部分开支根据45纳米工艺、32位浮点运算不考虑数据搬移和控制能耗的情况下估算出来的结果并没有给出模型FLOPs的数量或者推理的速度等信息。图1MSRS上互信息、参数量和理论计算能耗的对比。图6表示的是网络各个层次上脉冲发放速率的平均值。表4 参数数量以及各个测试集累计理论计算能耗部分分项可能存在舍入误差导致不完全一致的情况用红色表示的是完整融合模型中最好的结果。7. 结论和预测总结SpikeVFuse用膜电位交互以及分层脉冲模块来平衡融合质量和理论耗能的问题并且还需要继续改进显式的跨步建模、图像重构和真实的神经形态硬件部署。一句话概括就是把跨模态融合加入到脉冲状态演变之中来从而达到既保证了效率又提高了效果的目的。往期推荐[#多模态图像融合](javascript: [#图像融合](javascript: [#多模态信息融合](javascript: [#红外与可见光图像融合](javascript: [#哈尔滨工程大学](javascript: [#TMM](javascript: [#脉冲神经网络](javascript: