CLIPTrans：基于预训练模型的多模态机器翻译中的视觉知识迁移

本研究提出了 CLIPTrans 框架，通过简单地调整预训练的多模态 M-CLIP 和多语言 mBART 模型，使它们的嵌入空间对齐，并通过轻量级映射网络对 mBART 进行条件化。实验证明该框架的优点，并将标准基准提升了平均 2.67 个 BLEU 值。

本文提出了一种新的参数高效的跨语言转移学习框架，通过基于翻译的对齐方法缓解多语言差异，并探索参数高效的微调方法。实验证明，该框架显著减少了语言之间的差异，在跨语言转移方面取得了改进。尤其在低资源场景中，只需保留和微调极少量的参数，相比全模型仅需0.16%的额外参数。