视觉 - 语言变换模型的零射击和系统评估之间的有趣差异

本文研究了视觉语言模型的零样本跨语言迁移，通过基于Transformer模型的方法学习上下文相关的多语言多模态嵌入。实验证明该方法在非英语语言的视频搜索效果显著提高，无需额外注释。同时，在有多语言注释的情况下，该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。