线性-MoE：线性序列建模与专家混合的结合

本研究针对线性序列建模和专家混合模型的融合提出了Linear-MoE，填补了大型模型训练和建模的效率与性能之间的差距。该系统利用线性复杂度序列建模的优势及专家混合层的稀疏激活，显著提高了训练效率和模型性能。实验结果表明，Linear-MoE在维持竞争力性能的同时，实现了效率提升，展现了作为下一代基础模型架构的潜力。