从注意力到Mamba：一种跨架构蒸馏方法
内容提要
论文提出两阶段跨架构蒸馏方法：先将Transformer知识蒸馏到线性化注意力模型，再蒸馏到不含注意力模块的Mamba模型。经原则性初始化后，所得Mamba保留Pythia-1B大部分性能，困惑度14.01接近教师的13.86，下游任务基本延续，但依赖上下文回忆的任务仍有差距。作者在10亿参数、100亿token规模下进行了消融、缩放与token分配敏感性分析。
延伸解读
两阶段蒸馏的设计逻辑
文章提出先蒸馏到线性化注意力模型、再蒸馏到Mamba的两阶段方案，而非直接从Transformer跳到Mamba。这一设计的关键在于“原则性初始化”：通过中间线性注意力模型为Mamba提供更好的起点，从而避免朴素蒸馏失败。读者可关注这种分步迁移如何降低跨架构差异带来的性能损失。
性能保留与任务短板
蒸馏后的Mamba困惑度为14.01，接近教师模型的13.86，说明整体语言建模能力基本保留。但文章明确指出，依赖上下文回忆的任务仍存在差距。这提示读者：跨架构蒸馏在需要长上下文检索或记忆的任务上可能不够可靠，评估时应单独考察这类任务。
实验规模与消融范围
作者在10亿参数、100亿token规模下进行了消融、缩放和token分配敏感性分析，覆盖序列混合架构变化、模型尺寸与蒸馏token总量。这些分析有助于判断方法在不同配置下的稳健性，但结论仍限于该规模，读者不宜直接外推到更大模型或不同数据分布。
Q&A
为什么要把Transformer蒸馏到Mamba？
Mamba等状态空间模型相比Transformer内存消耗更低、生成吞吐更高，且社区已有大量预训练Transformer模型和训练知识。为了在采用SSM的同时利用现有预训练Transformer，作者旨在找到一种有效的跨架构蒸馏方法。
直接蒸馏Transformer到Mamba有什么问题？
先前跨架构蒸馏工作表明，从Transformer到Mamba的朴素蒸馏无法保持原始教师模型的性能，通常需要结合Attention和SSM块的混合方案来克服这一限制。
论文提出的两阶段蒸馏方法具体步骤是什么？
第一阶段：利用核技巧的改编，将传统Transformer的知识蒸馏到一个线性化注意力模型；第二阶段：将线性化版本蒸馏到一个不使用任何注意力块的改编Mamba模型。
蒸馏后的Mamba模型性能如何？
蒸馏得到的Mamba模型保留了原始Pythia-1B Transformer的大部分性能，困惑度为14.01，接近教师的13.86。下游任务性能基本延续，但在依赖上下文回忆的任务上仍有差距。
论文做了哪些实验来验证方法有效性？
作者在10亿参数、100亿token规模下进行了消融实验（改变序列混合器架构）、模型尺寸和总蒸馏token的缩放分析，以及两阶段间token分配的敏感性分析。
原则性初始化在蒸馏中起什么作用？
论文的核心论点是，通过为Mamba配备原则性初始化，可以恢复一个整体更好的跨架构蒸馏方案，从而克服朴素蒸馏的性能损失。
