LinguAlchemy: 将语言类型学和地理元素融合实现未知语言泛化

本文介绍了一种名为Mask-tuning的训练方法，通过将掩码语言建模（MLM）训练目标整合到微调过程中，提高了预训练语言模型（PLMs）的泛化能力。研究结果表明，Mask-tuning超越了当前最先进的技术，并增强了PLMs在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。