Pan-Mamba: 有效的全色融合方法与状态空间模型
内容提要
本文综述了Mamba状态空间模型在图网络、点云、医学图像分割、卫星图像融合及通用视觉等领域的应用，包括Graph-Mamba、PointMamba、nnMamba、U-Mamba、SegMamba、Swin-UMamba、Vim及全色增强与图像融合方法。
延伸解读
Mamba 在视觉任务中的效率优势
文章多次提到 Mamba 模型在计算效率上的优势。例如，PointMamba 相比 Transformer 节省约 44.3% 的参数和 25% 的 FLOPs；Graph-Mamba 在 FLOPs 和 GPU 内存消耗上只占一小部分；Vim 也具有显著提高的计算和内存效率。这些数据表明，状态空间模型在保持性能的同时，能有效降低计算成本，为资源受限场景提供了新选择。
医学图像分割中的 Mamba 进展
文章介绍了多个用于医学图像分割的 Mamba 模型，如 nnMamba、U-Mamba、SegMamba 和 Swin-UMamba。它们通过结合局部特征提取与长距离依赖建模，在医学图像分析任务中展现出优越性能。其中 Swin-UMamba 利用 ImageNet 预训练，在多个数据集上平均得分比 U-Mamba 高出 3.58%，显示了预训练对 Mamba 模型性能提升的重要性。
全色融合与增强的多样化方法
文章涉及全色融合与增强的不同技术路线。一方面，有基于深度学习的无需全色图像的全色增强方法，通过内置基础边缘轮廓实现，在高分一号和 WorldView-4 卫星上获得最佳增强效果；另一方面，有基于 detail injection 的 CNN 框架，用于多光谱与全色图像融合，提供明确物理解释并快速收敛。此外，还有基于 Transformer 的卫星图像融合方法，在 GaoFen-2 和 WorldView-3 图像上超越许多 CNN 方法。
Q&A
Graph-Mamba 是如何提升图网络长程上下文建模能力的？
Graph-Mamba 通过将 Mamba block 与依赖于输入的节点选择机制进行整合，增强了图网络中的长程上下文建模，从而显著提高了预测性能。
PointMamba 在点云分析中相比 Transformer 模型有哪些优势？
PointMamba 具有全局建模和线性复杂度，通过重新排序策略提供更合理的几何扫描顺序来增强 SSM 的全局建模能力。实验证明，它在不同点云分析数据集上胜过基于 Transformer 的对应模型，同时节省了约 44.3% 的参数和 25% 的 FLOPs。
nnMamba 在医学图像分析中有什么特点？
nnMamba 通过将 State Space Sequence Models (SSMs) 整合到卷积残差块中，能够提取局部特征并建模复杂的依赖关系，从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。
U-Mamba 相比基于 CNN 和 Transformer 的分割网络有何优势？
U-Mamba 融合了卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力，能够自适应不同数据集，并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果，为医学图像分析中高效建模长距离依赖开辟了新的途径。
SegMamba 在 3D 医学图像分割中表现如何？
SegMamba 是一种新颖的 3D 医学图像分割模型，通过有效地捕捉各个尺度上的全体积特征的远程依赖性，从状态空间模型的角度在全体积特征建模方面胜过基于 Transformer 的方法，保持出色的处理速度，即使是具有 64×64×64 分辨率的体积特征。在 BraTS2023 数据集上的综合实验证明了 SegMamba 的有效性和高效性。
Vim 模型在计算机视觉任务中取得了哪些成果？
Vim 是一种新的通用计算机视觉基础模型，采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。
Swin-UMamba 在医学图像分割中有什么创新？
Swin-UMamba 是一种新颖的基于 Mamba 的模型，专门针对医学图像分割任务，利用了基于 ImageNet 的预训练的优势。实验结果表明，ImageNet 的训练对于提高基于 Mamba 的模型性能起到了重要作用。与 CNNs、ViTs 和最新的基于 Mamba 的模型相比，Swin-UMamba 在 AbdomenMRI、Encoscopy 和 Microscopy 数据集上的表现优异，平均得分比最接近的对应模型 U-Mamba 高出 3.58%。
