狮子：将大型语言模型线性化为门控递归结构

本研究针对传统方法在从头训练线性递归模型时的高成本和风险问题，提出了一种新的线性化方法，名为狮子（Liger）。该方法将预训练的大型语言模型转换为门控线性递归模型，避免添加额外参数，利用预训练的关键矩阵权重构建多种门控机制，并通过轻量级微调恢复性能，取得了与原始大型语言模型相当的效果。