LinguAlchemy: 将语言类型学和地理元素融合实现未知语言泛化
原文中文，约300字，阅读约需1分钟。发表于：。引入 LinguAlchemy 解决预训练语言模型在未知语言上的泛化问题，通过考虑语言的不同方面，显著提高了 mBERT 和 XLM-R 对未知语言的准确性，实现了更好的跨语言泛化。
本文介绍了一种名为Mask-tuning的训练方法，通过将掩码语言建模（MLM）训练目标整合到微调过程中，提高了预训练语言模型（PLMs）的泛化能力。研究结果表明，Mask-tuning超越了当前最先进的技术，并增强了PLMs在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。
