AquilaMoE：基于扩展和扩展策略的MoE模型高效训练

BriefGPT - AI 论文速递 · 2024-08-13T00:00:00Z

本研究介绍了Skywork-MoE的训练方法，使用1460亿参数和16个专家的高性能混合专家大型语言模型。创新技术包括门控逻辑归一化和自适应辅助损失系数。实验结果验证了这些方法的有效性。再利用训练后，模型在广泛的基准测试中表现出强大的性能。