跨语言迁移中多源语言训练的分析
内容提要
该文综述跨语言迁移研究，聚焦机器翻译与多语言模型在低资源语言中的应用。研究发现，往返翻译和添加高资源语言翻译数据最有效，用目标语言校验数据做模型选择更优。相关研究还涉及零样本迁移、跨语言提示、子网络相似性预测及跨语言后训练等方法，以提升低资源语言性能并缩小语言间差距。
延伸解读
基于翻译的跨语言迁移为何更有效
文章指出，在低资源语言场景下，基于机器翻译的跨语言迁移方法比零样本迁移更有效。其中，往返翻译（将源语言训练数据翻译到目标语言）并在目标语言测试实例上进行翻译，被证明是最有效的方法。此外，将其他高资源语言的可靠翻译添加到训练数据中，也能带来实证收益。这提示研究者在低资源任务中应优先考虑翻译增强策略，而非单纯依赖零样本迁移。
模型选择：目标语言校验数据更优
文章强调，使用目标语言校验数据进行模型选择，比使用源语言数据更好。这意味着在跨语言迁移中，评估和选择模型时应尽量采用目标语言的验证集，以更准确地反映模型在目标语言上的性能。这一发现对实践有直接指导意义：在资源允许的情况下，应构建目标语言的校验集，避免因源语言与目标语言分布差异而导致模型选择偏差。
跨语言迁移的多样方法与影响因素
文章综述了多种提升低资源语言性能的方法，包括零样本迁移、跨语言提示（如XLT）、子网络相似性预测以及跨语言后训练（XPT）等。研究还发现，源语言与目标语言在语法、形态和音韵上的相似度能有效预测迁移效果。这些信息表明，跨语言迁移的效果受语言相似性和方法选择共同影响，未来研究可据此优化源语言选择或设计更鲁棒的迁移策略。
Q&A
跨语言迁移中，哪种训练数据增强方法最有效？
在源语言训练数据上进行往返翻译，并在目标语言测试实例上进行翻译的方法最有效。此外，将其他高资源语言的可靠翻译添加到训练数据中也能获得更多实证收益。
如何为跨语言迁移任务选择模型？
使用目标语言校验数据进行模型选择比使用源语言数据进行模型选择更好。
跨语言迁移在哪些任务上表现更好？
根据对XLM-RoBERTa的实验，跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。
跨语言思维提示（XLT）方法有什么效果？
XLT通过激发跨语言和逻辑推理技能，显著提高了各种多语种任务的性能，并显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。
如何预测跨语言迁移的语言兼容性？
可以使用两种语言之间的子网络相似性作为预测跨语言转移（XLT）语言兼容性的代理方法。该方法以模型为导向，仅需适量原始文本，在多样性任务上优于其他基准模型，并能有效对零样本XLT进行排名，平均NDCG@3提高了4.6%。
跨语言后训练（XPT）在低资源语言上的表现如何？
XPT基于单一低资源语言进行了广泛评估，结果显示XPT不仅优于或与训练数据数量更多的单语模型表现相当，而且转移过程非常高效。
