机器翻译：跨语言预训练和跨语言迁移学习的桥梁吗？
内容提要
本研究提出了一种结合自监督语言建模与受监督机器翻译的预训练策略，显著提升了模型的上下文学习能力。通过视觉和语言的跨语言预训练方法，研究表明基于视觉的表示在多模式机器翻译中表现优越。此外，提出了两种跨语言学习模型，分别依赖于单语数据和平行数据，取得了先进的跨语言分类和翻译结果。
延伸解读
机器翻译作为跨语言桥梁的多种路径
文章汇总的研究显示，机器翻译与跨语言预训练的结合方式多样：既有将自监督语言建模与受监督机器翻译目标混合的预训练策略，也有利用平行数据设计跨语言模型目标的方法。这些路径共同表明，机器翻译信号可以显式或隐式地融入预训练，从而提升跨语言迁移能力。
视觉与语言结合拓展多模态翻译
一项研究采用三重并行视觉和语言语料库进行跨语言预训练，发现基于视觉的跨语言表示在多模式机器翻译中具有领先优势。这提示跨语言迁移不仅限于纯文本，视觉信息可能为翻译提供额外的语义 grounding，尤其适用于多模态场景。
持续学习缓解跨语言能力遗忘
针对微调预训练语言模型后跨语言能力减弱的问题，有研究提出利用持续学习来保持原有跨语言能力，并在句子检索、跨语言词性标注和命名实体识别等任务中取得更好性能。这说明在适配下游任务时，需关注跨语言知识的保持。
翻译-测试的再审视与基准线意义
文章提到，使用更强的机器翻译系统并减少原始文本训练与机器翻译文本推理之间的不匹配后，翻译-测试可以比之前假定的效果更好。这对多语言模型在跨语言分类中的支配地位提出了质疑，并促使研究者更多关注基于机器翻译的基准线。
Q&A
这项研究提出了什么样的预训练策略？
研究提出了一种将自监督语言建模与受监督机器翻译相结合的预训练策略，提升了模型的上下文学习能力。
研究中使用了什么样的语料库进行预训练？
研究采用了三重并行视觉和语言语料库进行跨语言预训练。
提出的跨语言学习模型有哪些？
提出了两种跨语言学习模型：一种依赖于单语数据的无监督方式，另一种利用平行数据的有监督方式。
如何解决预训练语言模型的跨语言能力减弱问题？
研究提出了一种利用持续学习的方法来保持预训练语言模型的跨语言能力。
基于视觉的表示在多模式机器翻译中有什么优势？
基于视觉的表示在多模式机器翻译中表现优越，显著提升了翻译性能。
新提出的跨语言预训练方法有什么特点？
新方法通过融合显式的跨语言训练信号，显著提高了无监督机器翻译的性能。
