相关语言间的跨语言转移：将低资源马耳他语视为多语言代码交换
内容提要
该文综述多语言模型跨语言迁移研究，主要发现：转写可提升低资源语言性能与表示相似度；矩阵分解和词汇重叠能快速适配低资源语言；机器翻译往返方法优于零样本迁移；跨语言后训练高效，单语模型表现相当；跨语言句法迁移无需大量翻译数据。
延伸解读
转写对低资源语言性能的影响
文章指出，在IndicGLUE基准上评估两个ALBERT模型时，转写使低资源语言性能得到提升，且基于转写的模型具有更高和更稳定的跨语言表示相似度分数。这表明转写可能通过拉近不同语言表示空间来促进迁移，但效果可能因任务和语言对而异。
机器翻译往返方法的优势
文章提到，用机器翻译进行跨语言转移，尤其是对低资源语言，比零样本方法更有效。在源语言训练数据上往返翻译并在目标语言测试实例上翻译的方法最有效。此外，添加高资源语言的可靠翻译可带来额外收益，且用目标语言校验数据选择模型优于用源语言数据。
跨语言后训练的高效性
文章介绍，跨语言后训练（XPT）基于单一低资源语言进行评估，结果显示XPT不仅优于或与训练数据更多的单语模型表现相当，而且转移过程非常高效。这提示对于低资源语言，后训练可能是一种数据高效的迁移策略，但需注意其评估基于单一语言，泛化性有待验证。
无需大量翻译数据的句法转移
文章提出一种简单有效的方法，无需大量翻译数据即可进行跨语言句法转移。该方法包括推导跨语言单词簇、将目标语言词汇信息转移到源语言树库，并与密度驱动注释投影结合。在仅使用比利时圣经作为翻译数据时，Europarl语料库结果比先前工作有额外提升，并在通用依赖语料库的38个数据集上展示。
Q&A
转写对低资源语言在多语言模型中的性能有什么影响？
转写可以提升低资源语言的性能，并且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。
如何快速适应预训练多语言模型到资源匮乏的语言和未知脚本？
可以使用基于矩阵分解和词汇重叠的方法，能够快速适应并在这类语言中获得显著的性能提升。
在跨语言转移中，机器翻译往返方法相比零样本迁移有什么优势？
机器翻译往返方法比零样本跨语言转移更有效，尤其在源语言训练数据上进行往返翻译并在目标语言测试实例上翻译的方法最有效。
跨语言后训练（XPT）在低资源语言上的效果如何？
XPT不仅优于或与训练数据数量更多的单语模型表现相当，而且转移过程非常高效。
没有大量翻译数据时，如何进行跨语言句法转移？
可以采用一种基于三个步骤的方法：1）推导跨语言单词簇用于多语言解析器；2）将目标语言词汇信息转移到源语言树库；3）结合密度驱动注释投影方法。该方法在多个语言中实现了最新进展。
在多语言机器翻译中，转写策略对翻译性能有何影响？
研究发现转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。
