MambaByte: 无需令牌的选择性状态空间模型
内容提要
Mamba采用选择性状态空间模型实现内容导向推理，推理速度比Transformer快5倍，支持百万长度序列，在语言、音频和基因组等模态达到最先进性能。Mamba-3B在预训练和下游评估中优于同规模Transformer，媲美两倍规模模型。
延伸解读
MambaByte 的字节级建模优势
MambaByte 基于字节级文本建模，相比词或子词模型，能处理任何语言，无需分词，对噪声和罕见词更稳健。文章提到字节级模型在稀有词预测上可达 30 倍提升，且开源了基于 T5 的预训练模型及代码数据，为多语言和低资源场景提供了新思路。
选择性状态空间模型的核心创新
Mamba 的关键创新是让状态空间模型参数随输入变化，实现内容导向推理，选择性传播或遗忘信息。通过硬件感知并行算法，在递归模式下高效训练，推理速度比 Transformer 快 5 倍，支持百万长度序列，并在语言、音频、基因组等模态达到最先进性能。
性能与效率的权衡
Mamba-3B 在预训练和下游评估中优于同规模 Transformer，媲美两倍规模模型，且推理更快、序列长度线性扩展。但文章也提到 MoE-Mamba 需 2.2 倍训练步骤达到相同性能，表明效率优势可能需在训练成本上权衡，实际部署需考虑任务需求。
Q&A
Mamba模型相比Transformer有哪些优势？
Mamba具有快速推断速度（比Transformers快5倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。
Mamba-3B在语言建模任务上的表现如何？
Mamba-3B在预训练和下游评估中均优于同样大小的Transformers，与其两倍大小的模型性能相当。
Mamba模型在哪些模态上实现了最先进的性能？
Mamba在语言、音频和基因组等多个模态上实现了最先进的性能。
MoE-Mamba相比原始Mamba有什么改进？
MoE-Mamba在2.2倍的训练步骤下达到与Mamba相同的性能，同时保持了Mamba模型对Transformer的推理性能优势。
Megabyte模型的主要特点是什么？
Megabyte是一种多尺度解码器结构，可以对超过一百万字节的序列进行端到端的微分建模，从而使自我注意力的时间复杂度进一步缩小，大量扩展了前馈层，实现了更好的并行处理能力，更高的性能和更低的成本，证明了无标记符自回归序列建模的可行性。
Charformer在字节级模型中的性能如何？
Charformer在英语GLUE、多语言和噪声文本数据集上的结果表明，它在速度上快于标准字节级和子单词级Transformers 28-100％，同时保持了有竞争力的质量。
