研究提出了一种主动遗忘的预训练策略，提升大型语言模型在非英语语言上的表现。该方法使解码器语言模型更有效地进行跨语言迁移，实验表明模型在适应新语言时表现优异，并在多个任务中取得更好成绩。

该论文介绍了XTREME，一个用于评估多语言表示跨语言泛化能力的基准测试。研究发现，跨语言模型在句法和句子检索任务上存在差距。该基准测试旨在推动跨语言学习方法的研究。