状态空间模型在机器翻译中的有效性如何？
原文中文，约900字，阅读约需2分钟。发表于：。通过严格细致的实验比较，本文发现 Mamba 与 transformers 在句子和段落级数据集上具有相当的竞争力，并且将注意力机制集成到 Mamba 中可以提高翻译质量、对序列长度外推的鲁棒性和对命名实体的记忆能力。
选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，但在复制和上下文学习能力任务上落后。然而，Mamba-2-Hybrid在12个标准任务上超过了Transformer，生成推理标记速度最多快8倍。混合模型在额外的长期上下文任务中紧密匹配或超越了Transformer。
