本文提出了一种通过标记级别协作训练多个大型语言模型的方法，允许基础模型在生成时调用领域专家模型，从而优化指令遵循和领域特定任务的性能。此外，研究展示了多级对比学习框架，显著提升了跨语言能力，并提出无监督特征分解方法，改善了跨领域和跨语言任务的表现。