MMDRFuse：具有动态刷新功能的轻量级多模态图像融合蒸馏小模型
内容提要
本文提出了一种基于相关驱动特征分解融合网络的多模态图像融合方法，利用Restormer块提取特征，并结合双分支Transformer-CNN提取低频和高频信息。该方法在红外-可见图像融合和医学图像融合中表现优异，显著提升了检测和分割性能。
延伸解读
方法核心：相关驱动特征分解
MMDRFuse的核心在于相关驱动特征分解融合网络。它利用Restormer块提取跨模态浅层特征，再通过双分支Transformer-CNN分别处理低频全局特征和高频局部信息。其中，Lite Transformer块负责低频部分，INN块负责高频部分。相关驱动损失是关键，它使低频特征相关、高频特征不相关，从而在保留融合优势的同时输出融合图像。
应用表现：多任务验证
该方法在红外-可见图像融合和医学图像融合等多个任务中均取得了良好结果。在红外-可见语义分割和目标检测中，性能得到提升。这表明MMDRFuse不仅适用于图像融合，还能为下游视觉任务提供支持，具有实际应用潜力。
技术背景：融合方法演进
文章提及了多模态图像融合领域的一系列进展，如层次双任务驱动模型、MLF-DET、MGDN、HSDS-MEF、mmFUSION、MM-Diff、MambaDFuse、MaeFuse以及AMFD等。这些工作从不同角度推动了融合技术发展，MMDRFuse在此基础上提出相关驱动特征分解，体现了该领域的持续创新。
Q&A
MMDRFuse的主要创新点是什么？
MMDRFuse提出了一种基于相关驱动特征分解融合网络的方法，结合Restormer块和双分支Transformer-CNN提取低频和高频信息。
MMDRFuse在图像融合中表现如何？
该方法在红外-可见图像融合和医学图像融合中表现优异，显著提升了检测和分割性能。
MMDRFuse如何处理低频和高频特征？
MMDRFuse采用双分支Transformer-CNN特征提取器，分别处理低频全局特征和高频局部信息。
相关驱动损失在MMDRFuse中的作用是什么？
相关驱动损失使低频特征相关，高频特征不相关，从而优化输出的融合图像。
MMDRFuse适用于哪些应用场景？
MMDRFuse适用于红外-可见图像融合和医学图像融合等多个任务。
MMDRFuse与现有技术相比有什么优势？
MMDRFuse实现了显著的检测和分割优势，产生视觉良好的融合结果，优于现有技术。
