基于状态空间模型的图学习：图蟒
内容提要
Graph-Mamba将Mamba模块与输入依赖的节点选择机制结合，增强图网络长程上下文建模，在十个基准数据集上超越现有方法且计算成本低。Mamba以选择性状态空间模型实现线性扩展和快速推理，在语言、音频、基因组等模态达最先进水平。相关研究包括BlackMamba、MoE-Mamba、LSPE、PMP及nnMamba等，推动序列与图建模发展。
延伸解读
Graph-Mamba 的核心创新
Graph-Mamba 将 Mamba 模块与输入依赖的节点选择机制结合，增强了图网络的长程上下文建模能力。这种设计使模型能够根据输入动态选择重要节点，从而更有效地捕捉图中的长距离依赖关系。在十个基准数据集上的实验表明，Graph-Mamba 在长程图预测任务中超越了现有最先进方法，同时计算成本显著降低，FLOPs 和 GPU 内存消耗仅占一小部分。
Mamba 架构的优势与影响
Mamba 是一种选择性状态空间模型，通过让 SSM 参数成为输入的函数，实现了内容导向的推理。它在线性时间内处理序列，推理速度比 Transformer 快 5 倍，并在语言、音频和基因组等模态上达到最先进水平。Mamba-3B 在语言建模中优于同规模 Transformer，与两倍规模模型性能相当。这些特性为 Graph-Mamba 提供了高效的基础。
相关研究的推动
多项研究推动了序列与图建模的发展。BlackMamba 结合 Mamba SSM 和 MoE，优化了训练和推理 FLOPs；MoE-Mamba 在 2.2 倍训练步骤下达到与 Mamba 相同性能；LSPE 通过可学习位置编码解耦节点结构表达；PMP 为 GNN 加入查询历史状态的能力；nnMamba 将 SSM 整合到卷积残差块中，在医学图像分析中表现卓越。这些工作为 Graph-Mamba 的出现奠定了基础。
Q&A
Graph-Mamba是什么？它有什么主要优势？
Graph-Mamba是一种将Mamba模块与输入依赖的节点选择机制相结合的图神经网络模型，用于增强图网络中的长程上下文建模。其主要优势是在十个基准数据集上超越了现有最先进方法，同时计算成本（FLOPs和GPU内存消耗）只占一小部分。
Mamba模型相比Transformer有哪些改进？
Mamba通过让结构化状态空间模型（SSMs）的参数成为输入的函数，解决了离散模态的弱点，实现了内容导向的推理。它采用硬件感知的并行算法，具有快速推断速度（比Transformers快5倍）和序列长度的线性扩展，并在语言、音频和基因组等多个模态上达到最先进性能。
BlackMamba和MoE-Mamba分别是什么？它们有什么特点？
BlackMamba是一种结合Mamba SSM和MoE的新型架构，在训练和推理FLOPs方面表现优秀，实现了SSM的线性复杂度生成和MoE快速高效推理的结合。MoE-Mamba将混合专家模型应用于状态空间模型，在2.2倍的训练步骤下达到与Mamba相同的性能，同时保持了对Transformer的推理性能优势。
LSPE和PMP在图学习中的作用是什么？
LSPE是一种新的GNN网络架构，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，在分子数据集上显著提高模型性能。PMP（Persistent Message Passing）机制为GNN的潜在表示加入了查询过去状态的能力，更好地支持时间依赖性数据结构的查询，允许GNN创建新节点记录历史状态，在动态时间范围查询上表现出色。
nnMamba架构在医学图像分析中有什么应用？
nnMamba通过将状态空间序列模型（SSMs）整合到卷积残差块中，能够提取局部特征并建模复杂的依赖关系，从而在医学图像分析的一系列挑战性任务中展现出卓越的性能。
图神经机器（GNM）是什么？它和MLP相比有什么优势？
图神经机器（GNM）是一种用于表格数据的新型机器学习模型，它用几乎完全图代替了MLP的有向无环图，并采用同步消息传递方案。单个GNM模型可以模拟多个MLP模型，在大多数分类和回归数据集上，GNM模型优于MLP架构。
