MMR-Mamba: Mamba 与空间频率信息融合的多对比度 MRI 重建
内容提要
本文提出了基于Mamba框架的图像融合和超分辨率方法，包括FusionMamba和MambaDFuse，显著提升了多模态医学图像和红外-可见光图像的融合性能。这些方法在特征提取和融合方面表现出高效性和准确性，具有良好的泛化能力和目标检测性能。
延伸解读
Mamba 在多模态融合中的优势
文章指出，Mamba 模型作为状态空间模型，具有全局建模能力，且计算复杂度低。FusionMamba 和 MambaDFuse 等方法利用 Mamba 块高效提取空间和光谱特征，在保持性能的同时降低通道冗余，增强局部特征。这些特性使 Mamba 在多模态图像融合任务中展现出潜力，尤其是在医学图像和红外-可见光图像融合中。
跨模态目标检测的新基线
通过设计融合 Mamba 块（FMB），将交叉模态特征映射到隐藏状态空间进行交互，降低了模态间差异，增强了融合特征的表征一致性。在公共数据集上，该方法在 mAP 上超过了 M3FD 和 FLIR-Aligned 数据集上的现有方法，分别提升 5.9% 和 4.9%，为跨模态目标检测建立了新的基线。
频率辅助与多任务泛化
频率辅助的 Mamba 框架在远程感知图像超分辨率中实现了更高的峰值信噪比和更低的内存消耗。此外，FreqMamba 结合频率分析在图像去雨任务中表现出优越性能，T-Mamba 在牙齿三维成像分割中取得最佳结果。这些工作表明，Mamba 与频率信息的结合能有效处理多种图像恢复任务，具有良好的泛化能力。
Q&A
Mamba框架的主要优势是什么？
Mamba框架具有更高的峰值信噪比、更低的内存消耗和计算复杂度，适用于大规模远程感知图像超分辨率处理。
FusionMamba方法如何提升图像融合性能？
FusionMamba通过结合Mamba块，在两个U型网络中高效提取空间和光谱特征，从而增强图像融合性能。
MambaDFuse模型的创新之处是什么？
MambaDFuse模型通过双级特征提取器和双相特征融合模块，提升了多模态图像融合的效率和效果。
如何解决多模态图像融合中的挑战？
通过耦合状态空间模型(SSM)和设计模态间隐藏状态转换方案，Mamba框架有效解决了多模态融合的挑战。
FreqMamba在图像去雨任务中的表现如何？
FreqMamba通过结合频率分析，展示了在图像去雨任务中优越的视觉和定量性能。
Mamba框架在医学图像融合中的应用效果如何？
Mamba框架在CT-MRI、PET-MRI、SPECT-MRI等多模态医学图像融合任务中表现出良好的泛化能力和性能提升。
