状态空间模型作为基础模型的控制论概述

基于Transformer架构的基础模型存在内容导向推理的弱点，通过改进结构状态空间模型（SSMs）参数成为输入的函数，将选择性SSMs集成到简化的神经网络架构中，提出了快速推断速度和线性扩展的模型Mamba。Mamba在语言、音频和基因组等多个模态上实现了最先进的性能。