论文提出两阶段跨架构蒸馏方法：先将Transformer知识蒸馏到线性化注意力模型，再蒸馏到不含注意力模块的Mamba模型。经原则性初始化后，所得Mamba保留Pythia-1B大部分性能，困惑度14.01接近教师的13.86，下游任务基本延续，但依赖上下文回忆的任务仍有差距。作者在10亿参数、100亿token规模下进行了消融、缩放与token分配敏感性分析。