CroissantLLM: 一个真正的法英双语语言模型
内容提要
该文综述多语言预训练模型研究，涵盖FinEst BERT、CroSloEngual BERT等三语模型，在命名实体识别、词性标注和依存句法分析等任务上提升性能；并介绍跨语言学习、多语言微调、GreenPLM、XTREME基准、MultiFiT及跨语言后训练等方法，以提升跨语言泛化能力并降低资源消耗。
延伸解读
多语言模型的研究脉络
文章梳理了多语言预训练模型的发展，从三语模型如FinEst BERT和CroSloEngual BERT，到跨语言学习、多语言微调、GreenPLM等。这些工作共同关注提升跨语言泛化能力并降低资源消耗，反映了该领域从单一模型向高效、通用方向演进的趋势。
低资源语言的解决方案
针对低资源语言，文章提到了MultiFiT和跨语言后训练（XPT）等方法。MultiFiT能从无标注数据中有效训练，实现零样本跨语言模型；XPT基于单一低资源语言进行后训练，表现可媲美数据更多的单语模型，且转移高效。这些方法为资源受限场景提供了实用路径。
评估基准与性能差距
XTREME基准覆盖40种语言和9个任务，用于评估跨语言泛化能力。文章指出，跨语言模型在句法和句子检索任务上仍有较大差距，说明多语言表示在这些方面尚未成熟，需要进一步研究。这一基准为衡量进展提供了统一标准。
效率与公平的平衡
GreenPLM框架通过双语词典将语言模型直接翻译到其他语言，旨在减少能源消耗并促进语言使用者的机会均等。在18种语言上的验证表明，它比高成本启发式算法性能更优，且计算成本低。这体现了多语言NLP研究对可持续性和包容性的关注。
Q&A
FinEst BERT 和 CroSloEngual BERT 分别支持哪些语言？
FinEst BERT 支持芬兰语、爱沙尼亚语和英语；CroSloEngual BERT 支持克罗地亚语、斯洛文尼亚语和英语。
多语言预训练模型可以通过什么方法创建多语言翻译模型？
通过多语言微调（multilingual fine-tuning）可以创建多语言翻译模型，并且在不失性能的前提下，预训练模型可以扩展到更多语言。
GreenPLM 框架的主要目标是什么？
GreenPLM 是一个基于双语词典的能效框架，旨在将一种语言模型直接翻译到其他语言，以促进 NLP 研究中所有语言使用者的机会均等和减少能源消耗。
XTREME 基准测试覆盖多少种语言和任务？
XTREME 基准测试覆盖 40 种语言和 9 个任务，用于评估多语言表示的跨语言泛化能力。
MultiFiT 方法有什么特点？
MultiFiT 是一种多语言语言模型微调方法，能够从无标注数据中有效训练和优化预训练语言模型，特别适用于低资源语言，实现零样本跨语言模型，并在两个跨语言分类数据集上优于使用更多数据和计算的预训练模型。
跨语言后训练（XPT）的效果如何？
跨语言后训练（XPT）基于单一低资源语言进行广泛评估和探测实验，结果显示 XPT 不仅优于或与训练数据数量更多的单语模型表现相当，而且转移过程非常高效。
