拉玛3遇见专家混合模型：高效重利用

本研究解决了大型语言模型（LLM）训练过程中高计算成本和专家混合模型（MoE）中出现的过拟合与路由不稳定等问题。通过利用预训练的密集检查点，我们提出了一种高效的训练方案，成功从Llama 3-8B训练出一个8专家Top-2 MoE模型，显著提升了下游任务的表现，并显示出高达46.8%的模型计算资源利用率。这项工作为高容量MoE模型的经济高效开发提供了新途径。