视觉曼巴：具有双向状态空间模型的高效视觉表示学习
内容提要
文章主题为Mamba状态空间模型。作者指出Transformer难以进行内容导向推理，提出让SSM参数随输入变化的选择性机制，并设计硬件感知并行算法。Mamba推理速度比Transformer快5倍，序列长度线性扩展，在语言、音频、基因组等模态达到最先进水平；Mamba-3B优于同规模Transformer，媲美两倍规模模型。后续工作将混合专家用于SSM，MoE-Mamba以2.2倍训练步数达到同等性能。
延伸解读
选择性机制：Mamba 的核心改进
文章指出 Transformer 的关键弱点是无法进行内容导向的推理。Mamba 通过让状态空间模型（SSM）的参数成为输入的函数，实现了选择性机制：在序列维度上选择性地传播或遗忘信息。这种设计使模型能够根据当前内容动态调整记忆，而非像传统 SSM 那样使用固定参数。配合硬件感知的并行算法，Mamba 在保持高效推理的同时，获得了更强的表达能力。
效率与性能的权衡
Mamba 在推理速度上比 Transformer 快 5 倍，且序列长度呈线性扩展，这使其在处理长序列时具有明显优势。在语言建模中，Mamba-3B 在预训练和下游评估中均优于同规模 Transformer，性能媲美两倍大小的模型。但文章也提到，Mamba 在语言、音频和基因组等模态上达到最先进水平，这些结果主要基于实际数据测试，对于其他模态或任务的泛化能力仍需进一步验证。
MoE-Mamba：训练效率的提升
后续工作将混合专家（MoE）应用于状态空间模型，提出了 MoE-Mamba。该模型在 2.2 倍的训练步骤下达到与 Mamba 相同的性能，同时保持了 Mamba 对 Transformer 的推理性能优势。这表明 MoE 可以显著提高 SSM 的训练效率，但文章未提及 MoE-Mamba 在推理速度或内存占用方面的具体变化，读者需注意其优势主要体现在训练阶段。
视觉指令跟随的挑战
文章介绍了 VISUAL EMBEDDED INSTRUCTION (VIM) 框架，用于评估多模态大语言模型（MLLMs）的视觉指令跟随能力。通过将指令嵌入视觉场景，VIM 要求模型具备强大的视觉解释能力。在 VQAv2、MME 等基准上的实验显示，开源 MLLMs 与 GPT-4V 存在显著性能差距，说明当前模型在视觉指令理解方面仍有不足。这一发现为提升 MLLMs 的指令跟随能力指明了方向。
Q&A
Mamba模型相比Transformer有哪些优势？
Mamba具有快速推断速度（比Transformer快5倍）和序列长度的线性扩展能力，并在长达百万长度的序列上显示出改进。在语言建模中，Mamba-3B模型在预训练和下游评估中均优于同样大小的Transformer，性能与两倍大小的模型相当。
Mamba如何解决Transformer无法进行内容导向推理的问题？
Mamba通过让状态空间模型（SSM）的参数成为输入的函数，实现选择性机制，在长度可选的维度上选择性地传播或遗忘信息。同时，通过设计硬件感知的并行算法，将这些选择性SSM集成到简化的端到端神经网络架构中。
MoE-Mamba是什么？它有什么效果？
MoE-Mamba是将混合专家模型（MoE）应用于状态空间模型（SSM）的模型。它能在2.2倍的训练步骤下达到与Mamba相同的性能，同时保持Mamba对Transformer的推理性能优势。
Mamba在哪些模态上达到了最先进的性能？
Mamba在语言、音频和基因组等多个模态上实现了最先进的性能。
VIM框架是用来评估什么的？
VIM（Visual Embedded Instruction）是一个用于评估多模态大语言模型（MLLMs）视觉指令跟随能力的框架。它通过将指令嵌入到视觉场景中，挑战MLLMs的视觉解释能力，并在VQAv2、MME、MM-Vet和RefCOCO等基准上进行测试。
开源多模态大语言模型与GPT-4V在视觉指令理解上差距如何？
根据VIM框架的评估，开源MLLMs与GPT-4V之间存在显著的性能差异，表明它们在视觉指令理解方面的熟练程度还不够好。
