本文探讨了状态空间模型（SSM）在状态跟踪中的表达能力，分析了其与转换器架构的相似性及局限性。研究提出了多头状态空间架构（MH-SSM）和混合层Block-State Transformer（BST），在语音识别和语言模型任务中表现优于传统模型。引入选择性机制和可扩展训练算法，提升了SSM的性能和训练效率。

本文介绍了一种名为 Block-State Transformer 的混合层，它在内部组合了用于长距离上下文建模的 SSM 子层和用于序列的短期表示的 Block Transformer 子层，并研究了三种完全可并行化的 SSM 和块状注意力的集成变体。该模型在语言模型困惑度上胜过类似的基于 Transformer 的架构，并可以推广到更长的序列。此外，Block-State Transformer 在模型并行化时的层级速度比 Block-Recurrent Transformer 快了十倍以上。

本文介绍了一种名为 Block-State Transformer 的混合层，它在内部组合了用于长距离上下文建模的 SSM 子层和用于序列的短期表示的 Block Transformer 子层，并研究了三种完全可并行化的 SSM 和块状注意力的集成变体。该模型在语言模型困惑度上胜过类似的基于 Transformer 的架构，并可以推广到更长的序列。