本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。

本研究探讨了基于预训练语言模型的动态情境词向量，提出的CBOW训练方法提高了文本嵌入的计算效率，并结合静态与上下文嵌入改善多语言表示。评估结果显示，基于神经网络的词嵌入方法在捕捉语言语义和句法规律方面优于传统方法。

该论文介绍了XTREME，一个用于评估多语言表示跨语言泛化能力的基准测试。研究发现，跨语言模型在句法和句子检索任务上存在差距。该基准测试旨在推动跨语言学习方法的研究。