本研究提出了一种混合摩amba架构，解决了状态空间模型在多模态预训练中无法充分利用特定模态特征的问题。通过模态特定参数化和模态感知稀疏性，显著降低了计算成本并提高了训练速度，为多模态预训练设立了新基准。

Hybrid Mamba: Enhancing Multimodal State Space Models through Modal-Aware Sparsity
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证