无需从头训练：公正比较长序列模型要求基于数据的先验知识

本文介绍了一种名为 Block-State Transformer 的混合层，它在内部组合了用于长距离上下文建模的 SSM 子层和用于序列的短期表示的 Block Transformer 子层，并研究了三种完全可并行化的 SSM 和块状注意力的集成变体。该模型在语言模型困惑度上胜过类似的基于 Transformer 的架构，并可以推广到更长的序列。