一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
💡
原文中文，约5800字，阅读约需14分钟。
📝
内容提要
本文介绍了结构化状态空间对偶（SSD）和线性注意力机制的原理和应用，包括结构化状态空间模型（SSM）和结构化矩阵的基础知识，以及SSD与注意力机制的关系。文章还讨论了半可分矩阵的定义和顺序半可分矩阵的表示方法。
🎯
关键要点
- 文章介绍了结构化状态空间对偶（SSD）和线性注意力机制的原理与应用。
- 结构化状态空间模型（SSM）是基于特定连续系统的离散化形式，能够高效计算序列到序列的转换。
- SSM可以被视为一种递归神经网络（RNN），并且在动态时间上是恒定的时等同于卷积模型。
- Mamba1存在的问题是无法利用矩阵乘法，Mamba2旨在揭示选择性SSM与注意力机制的关系。
- 线性注意力机制通过将softmax折叠到核特征映射中，降低了计算复杂度。
- 结构化矩阵通过压缩表示和快速算法，能够高效执行矩阵运算。
- 结构化状态空间对偶（SSD）是选择性SSM的特例，具有线性复杂度的计算能力。
- SSD的对偶形式与注意力机制密切相关，能够解决原始注意力中的一些问题。
- 半可分矩阵的定义和顺序半可分矩阵的表示方法被讨论，强调其在结构化矩阵中的重要性。
➡️
