Simba: Mamba 增强的 U-ShiftGCN 用于视频中的动作识别
内容提要
本研究介绍了Graph-Mamba，通过结合Mamba块和节点选择机制，提升了图网络的长程上下文建模能力，显著提高了预测性能。实验结果表明，Graph-Mamba在长程图预测任务中优于现有方法，且计算成本较低。此外，研究探讨了Mamba在视频理解和骨架动作识别中的应用，提出了高效的GCN基线模型，展示了其在多个任务中的优越性能。
延伸解读
Mamba 在视频理解中的效率优势
文章指出，Mamba 在仅视频和视频语言任务上展现出强大潜力，并实现了有希望的效率-性能平衡。与 Transformer 相比，Mamba 具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展能力，这使其在处理长视频序列时可能更具计算优势。
EfficientGCN-B4 的轻量高效特性
基于骨架动作识别，文章提出了 EfficientGCN-B4 基线，在 NTU RGB+D 60 和 120 数据集上性能超越其他 SOTA 模型，同时模型规模更小、训练速度更快。这表明通过复合扩展策略，可以在不增加模型复杂度的前提下提升识别性能。
Graph-Mamba 的长程建模与计算效率
Graph-Mamba 通过整合 Mamba 块和输入依赖的节点选择机制，增强了图网络的长程上下文建模能力。在十个基准数据集上的实验表明，它在长程图预测任务中优于现有方法，且 FLOPs 和 GPU 内存消耗仅占一小部分，实现了性能与计算成本的平衡。
STG-Mamba 的时空图学习优势
STG-Mamba 基于选择性状态空间模型，借助图选择性状态空间块（GS3B）刻画时空图的动态演化，并引入 Kalman 滤波图神经网络（KFGN）提升 GNN 建模能力。实证研究表明，STG-Mamba 在预测性能和计算效率方面均表现出优越性。
Q&A
Graph-Mamba的主要优势是什么？
Graph-Mamba通过结合Mamba块和节点选择机制，增强了图网络的长程上下文建模能力，显著提高了预测性能，同时计算成本较低。
Mamba在视频理解中的应用效果如何？
Mamba在视频理解和骨架动作识别中展现出强大的潜力，尤其在视频和视频语言任务上表现优越。
EfficientGCN-B4模型的特点是什么？
EfficientGCN-B4模型在NTU RGB+D 60和120数据集上超越其他SOTA模型，具有更小的模型规模和更快的训练速度。
STG-Mamba方法的优势是什么？
STG-Mamba在预测性能和计算效率方面表现优越，能够有效刻画时空图网络的动态演化。
Mamba如何提高运动生成的质量？
Mamba通过分层时序Mamba块和双向空间Mamba块处理时序和姿态信息，从而实现高质量、长序列的运动生成。
Graph-Mamba与现有方法相比有什么改进？
Graph-Mamba在长程图预测任务中优于现有方法，且在计算成本上占用较小的资源。
