SegMamba: 长程序列建模 Mamba 用于三维医学图像分割
内容提要
U-Mamba 融合卷积与序列模型，兼顾局部特征和长距离依赖，在医学图像分割中优于 CNN 和 Transformer。Mamba 选择性状态空间模型推理快、支持百万长序列，在语言、音频、基因组等任务达 SOTA。Vim、VMamba 将其扩展至视觉，MoE-Mamba 进一步提升性能。
延伸解读
Mamba 的核心优势：内容导向推理与高效长序列建模
Mamba 通过让状态空间模型参数成为输入的函数，实现了内容导向的推理，克服了传统 SSM 在离散模态上的弱点。其硬件感知并行算法支持递归模式下的高效训练与推理，推理速度比 Transformer 快 5 倍，且序列长度呈线性扩展，能处理百万级长序列。在语言、音频和基因组等任务上达到 SOTA，Mamba-3B 在预训练和下游评估中优于同规模 Transformer，与两倍规模模型性能相当。
从 U-Mamba 到 SegMamba：医学图像分割的演进
U-Mamba 融合卷积与序列模型，兼顾局部特征和长距离依赖，在医学图像分割中优于 CNN 和 Transformer。SegMamba 将 Mamba 扩展至三维医学图像分割，利用其长程序列建模能力处理体积数据。此前 TransBTS、MT-UNet 等方法已探索 Transformer 与 CNN 的结合，但 Mamba 在推理速度和长序列处理上更具优势，为医学图像分析中高效建模长距离依赖开辟了新途径。
视觉领域的扩展：Vim、VMamba 与 MoE-Mamba
Vim 采用双向状态空间模型处理图像序列，在 ImageNet 分类、COCO 检测和 ADE20k 分割上超越 DeiT，且计算和内存效率更高。VMamba 基于 CNN 和视觉 Transformer，具有线性复杂度和全局感受野，图像分辨率增加时优势更明显。MoE-Mamba 将混合专家模型应用于状态空间模型，仅用 2.2 倍训练步骤即达到 Mamba 同等性能，同时保持推理优势。这些工作为 SegMamba 提供了技术基础。
Q&A
Mamba 模型相比 Transformer 有哪些优势？
Mamba 具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。
U-Mamba 在医学图像分割中有什么创新？
U-Mamba 通过融合卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力，能够自适应不同数据集，并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果。
Vim 模型在计算机视觉任务中表现如何？
Vim 采用双向状态空间模型对图像序列进行标记并压缩视觉表示，在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。
MoE-Mamba 如何提升性能？
将混合专家模型应用于状态空间模型可显著提高其性能，MoE-Mamba 模型在 2.2 倍的训练步骤下达到与 Mamba 相同的性能，同时保持了 Mamba 模型对 Transformer 的推理性能优势。
TransBTS 网络在脑肿瘤分割中取得了什么成果？
TransBTS 使用 Transformer 和 3D CNN 实现 MRI 脑肿瘤分割，同时利用全局和局部特征进行分割，并在 BraTS 2019 和 2020 数据集上取得了当前最高水平的分割效果。
VMamba 相比传统视觉模型有什么优势？
VMamba 基于卷积神经网络和视觉变换器，具有线性复杂度和全局感受野，并在图像分辨率增加时展现出更明显的优势。
