本研究提出了一种结合自监督语言建模与受监督机器翻译的预训练策略，显著提升了模型的上下文学习能力。通过视觉和语言的跨语言预训练方法，研究表明基于视觉的表示在多模式机器翻译中表现优越。此外，提出了两种跨语言学习模型，分别依赖于单语数据和平行数据，取得了先进的跨语言分类和翻译结果。