灵活有效地将大型语言模型融入领域专家混合

本研究解决了将训练模型整合为低成本领域专家混合（MOE）的问题。通过提供一个工具包，研究者能够灵活地使用现有模型或适配器创建MOE，并进行广泛测试以指导架构定义。其显著发现是该工具包能够大幅降低开发成本，提高模型组合的灵活性。