联合训练语言模型中的解读意识多语言学习
内容提要
本文提出了一种通过标记级别协作训练多个大型语言模型的方法，允许基础模型在生成时调用领域专家模型，从而优化指令遵循和领域特定任务的性能。此外，研究展示了多级对比学习框架，显著提升了跨语言能力，并提出无监督特征分解方法，改善了跨领域和跨语言任务的表现。
延伸解读
标记级协作的机制与优势
文章提出在标记级别交替生成，将下一个标记由哪个LLM生成的决策建模为潜在变量。基础LLM通过优化边际似然自动学习何时自行生成、何时调用助理模型，无需直接监督。这种解码方式能按任务需求融合各模型专长，在跨领域设置中尤其有用，因为基础模型可学会调用领域专家模型。
多级对比学习提升跨语言能力
针对跨语言迁移，文章提出多级对比学习框架，利用翻译后的平行数据，并显式整合每对平行句子的单词级信息进行对比学习。同时采用交叉零噪声对比估计损失，以减轻训练中小批量大小带来的浮点误差影响。该方法显著提升了mBERT的跨语言迁移能力，并在Xtreme基准的多个零样本跨语言下游任务中表现优异。
无监督特征分解改善跨领域跨语言表现
文章还提出一种无监督特征分解方法，用于自动提取领域特定特征和领域不变特征。它利用互信息估计，将跨领域和跨语言设置下的表示分解为领域不变和领域特定部分。实验结果表明，该方法在跨领域和跨语言任务中取得了显著的性能提升，为相关任务提供了新的解决思路。
Q&A
如何通过标记级别协作训练多个大型语言模型？
通过在标记级别交替生成，基础模型可以在生成时调用领域专家模型，从而优化指令遵循和领域特定任务的性能。
多级对比学习框架的作用是什么？
多级对比学习框架显著提升了跨语言能力，使用翻译后的平行数据进行对比学习。
无监督特征分解方法如何改善模型性能？
无监督特征分解方法通过互信息估计将跨领域和跨语言表示分解为领域不变和领域特定部分，从而显著提升性能。
基础模型如何调用领域专家模型？
基础模型在生成时可以根据需要调用领域专家模型，以适应特定任务的要求。
实验结果显示了什么样的性能提升？
实验结果表明，使用该方法训练的模型在跨领域和跨语言任务中表现显著优于各个单独模型。
如何利用翻译后的平行数据进行对比学习？
通过显式整合每对平行句子的单词级信息，使用翻译后的平行数据进行对比学习，以提高预训练模型的跨语言能力。
