这篇论文介绍了CoLLiE，一个高效的库，利用3D并行性和多种优化器促进大型语言模型的协作训练。研究了混合专家（MoE）模型的结构和应用，提出了新的分类法，并创建了资源存储库以支持MoE研究。同时探讨了Self-MoE方法和无线分布式大型语言模型（WDMoE），强调模块化和自我改进对提升系统性能的重要性。