一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
内容提要
本文介绍了结构化状态空间对偶（SSD）和线性注意力机制的原理和应用，包括结构化状态空间模型（SSM）和结构化矩阵的基础知识，以及SSD与注意力机制的关系。文章还讨论了半可分矩阵的定义和顺序半可分矩阵的表示方法。
延伸解读
Mamba2 的动机：从 Mamba1 的瓶颈说起
Mamba1 的选择性 SSM 虽在语言任务上表现优异，却只能以递归模式计算，无法利用 GPU 的矩阵乘法单元，训练效率受限。Mamba2 的核心目标正是揭示选择性 SSM 与注意力机制的深层联系，从而借助矩阵乘法提升训练速度，并支持更大的状态维度。这一改进并非简单优化，而是试图在保持表达力的同时，让 SSM 更适配现代硬件。
SSD 与注意力：对偶形式的关键差异
结构化状态空间对偶（SSD）是选择性 SSM 的特例，其递归形式具有线性复杂度，而对偶形式则表现为与注意力密切相关的平方计算。与标准 softmax 注意力相比，SSD 去掉了 softmax，并引入一个数据依赖的掩码矩阵。这不仅能缓解 softmax 带来的注意力陷阱问题，还以可学习的位置掩码替代了 Transformer 的启发式位置嵌入，从而更灵活地控制跨时间的信息传递。
半可分矩阵：连接 SSM 与结构化矩阵的桥梁
文章将 SSM 的矩阵变换形式与半可分矩阵联系起来。半可分矩阵要求其下三角部分的任意子矩阵秩不超过 N，这种秩结构使其能够压缩表示并支持快速矩阵乘法。顺序半可分（SSS）表示是其中一种具体形式，通过向量和矩阵的递归定义，为 SSM 的高效计算提供了理论基础。理解这一结构，有助于把握 SSD 算法为何能在线性与二次复杂度之间取得更优权衡。
Q&A
什么是结构化状态空间模型（SSM）？
结构化状态空间模型（SSM）是基于特定连续系统的离散化形式，能够高效计算序列到序列的转换，并可视为一种递归神经网络（RNN）。
mamba2与注意力机制有什么关系？
mamba2旨在揭示选择性SSM与注意力机制之间的关系，并利用这一点显著提高SSM的训练速度。
线性注意力机制如何降低计算复杂度？
线性注意力机制通过将softmax折叠到核特征映射中，将注意力计算中的矩阵左乘改为右乘，从而将计算复杂度降低为线性。
什么是结构化状态空间对偶（SSD）？
结构化状态空间对偶（SSD）是选择性SSM的特例，具有线性复杂度的计算能力，并与注意力机制密切相关。
半可分矩阵的定义是什么？
半可分矩阵是指下三角矩阵中每个子矩阵的秩最多为N的矩阵，N称为半可分矩阵的阶数或秩。
mamba1存在哪些问题？
mamba1无法利用矩阵乘法，导致其在计算效率上不如现代加速器友好的模型，如CNN和Transformer。
