LinguAlchemy: 将语言类型学和地理元素融合实现未知语言泛化
内容提要
本文综述多语言预训练模型研究，涵盖语义对齐增强非英语数据（六种语言上超英语模型42.5%）、GeoMLAMA基准揭示多语种模型知识多样性不足、BabelNet注入词汇知识提升跨语言词汇任务、Mask-tuning改善泛化、语言适配器提升零样本跨语言迁移、地理适应预训练改进地理任务、利用语言亲缘关系改进跨语言迁移、子词嵌入双语掩码模型用于无监督翻译、XLM在跨语言分类与机器翻译上取得最优结果，以及大规模多语言研究发现神经模型语言结构泛化有限。
延伸解读
语义对齐：非英语能力提升的关键
文章指出，通过建立语言间的语义对齐，使用非英语训练数据可显著增强预训练模型在非英语语言上的能力，在六种非英语语言上超过英语模型42.5%，汉语人文任务上超过8.2%。这提示多语言模型的效果不仅取决于数据量，更取决于跨语言语义空间的对齐质量。此外，将非英语文本作为翻译数据的目标端尤其有效，且随翻译数据规模扩大，语义对齐会进一步加强，说明翻译任务与对齐机制存在相互促进的关系。
多语言知识多样性：大模型未必更懂本地文化
GeoMLAMA基准在11个多语种PLMs上的测试发现，尺寸较大的模型并不一定比小模型更好地存储多样概念；语言不一定能很好地反映其本地文化知识；模型在探索非本国国家知识时，表现甚至可能优于本国知识。这提醒读者，多语言模型的文化知识覆盖存在结构性偏差，不能简单以模型规模推断其文化代表性，评估多语言模型时需关注知识多样性与本地化程度。
泛化与迁移：方法改进与根本局限并存
文章介绍了多种提升跨语言泛化的方法：Mask-tuning将掩码语言建模目标融入微调，提升离群数据上的泛化；语言适配器结合多源语言训练，在POS和NER任务上平均F1提高3.2点；利用语言亲缘关系进行结构化适配器训练，在多个语系上相对性能提升超20%。但大规模多语言研究也发现，神经模型对语言结构的泛化表现并不好，且存在误报。这表明方法改进能带来可观收益，但模型对语言结构的根本泛化能力仍有局限。
Q&A
如何提升多语言预训练模型在非英语语言上的性能？
可以通过建立语言间的语义对齐，使用非英语训练数据来增强预训练大模型在非英语语言上的能力。实验证明，该方法在六种非英语语言上超过英语模型42.5%，在汉语人文任务上超过英语模型8.2%。同时，使用非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，语言模型内部的语义对齐能够进一步加强。
GeoMLAMA基准测试发现了多语言预训练模型的哪些问题？
GeoMLAMA是一个多语种、跨文化的基准数据集，旨在探究多语种预训练模型中通用知识的多样性。在11个标准多语种预训练模型上的测试发现：尺寸较大的模型并不一定比尺寸较小的更好地存储多样的概念；语言不一定能很好地反映其本地文化的知识；一个语言在探索非本国国家的知识时，可能比探索本国国家的知识更好。
BabelNet如何帮助多语言Transformer提升跨语言词汇任务？
通过在50种语言中使用BabelNet这一丰富的跨语言单词知识库，将大规模多语言Transformer暴露于多语言词汇知识，并利用对比目标指导下的词汇专业化过程，大幅提高了双语词汇归纳、跨语言单词相似性和跨语言句子检索等跨语言词汇任务的性能。实验还表明，相对于语言多样性，多语言Transformer的预训练质量对性能有更大的影响。
Mask-tuning方法如何改善预训练语言模型的泛化能力？
Mask-tuning是一种训练方法，通过将掩码语言建模训练目标整合到微调过程中，提高预训练语言模型的泛化能力。实验证明，Mask-tuning超越了当前最先进的技术，增强了模型在离群数据集上的泛化能力，同时提高了在分布数据集上的性能，从而改善了模型在未知数据上的可重用性。
语言适配器如何解决零样本跨语言迁移问题？
通过使用语言适配器解决NLP任务中的零样本跨语言迁移问题，并结合多个源语言的语言适配器进行训练和测试。在词性标注和命名实体识别任务上，相比标准微调和其他强基线模型，平均F1分数提高了3.2个点。
如何利用语言亲缘关系改进跨语言迁移？
本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言迁移。在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦-阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过20%，特别是在没有预先训练的语言上。
