本文探讨了混合专家（MoE）语言模型的效率与密集模型的比较，提出了DeepSeekMoE架构以提高专家专业化。研究表明，MoE模型在特定任务中优于密集模型，并提出了专家定制微调（ESFT）方法以提升训练效率。此外，提出了修剪相似专家以提高模型参数效率的方法，验证了其在自然语言任务中的优越性。