一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
原文中文，约5800字，阅读约需14分钟。
📝
内容提要
本文介绍了结构化状态空间对偶（SSD）和线性注意力机制的原理和应用，包括结构化状态空间模型（SSM）和结构化矩阵的基础知识，以及SSD与注意力机制的关系。文章还讨论了半可分矩阵的定义和顺序半可分矩阵的表示方法。
❓
Q&A
什么是结构化状态空间模型（SSM）？
结构化状态空间模型（SSM）是基于特定连续系统的离散化形式，能够高效计算序列到序列的转换，并可视为一种递归神经网络（RNN）。
mamba2与注意力机制有什么关系？
mamba2旨在揭示选择性SSM与注意力机制之间的关系，并利用这一点显著提高SSM的训练速度。
线性注意力机制如何降低计算复杂度？
线性注意力机制通过将softmax折叠到核特征映射中，将注意力计算中的矩阵左乘改为右乘，从而将计算复杂度降低为线性。
什么是结构化状态空间对偶（SSD）？
结构化状态空间对偶（SSD）是选择性SSM的特例，具有线性复杂度的计算能力，并与注意力机制密切相关。
半可分矩阵的定义是什么？
半可分矩阵是指下三角矩阵中每个子矩阵的秩最多为N的矩阵，N称为半可分矩阵的阶数或秩。
mamba1存在哪些问题？
mamba1无法利用矩阵乘法，导致其在计算效率上不如现代加速器友好的模型，如CNN和Transformer。
🏷️
