本文综述多语言多模态嵌入研究,涵盖M3L-Contrast话题模型(将多语言文本与图像映射到共享话题空间)、通过翻译句子将嵌入扩展至400多种语言的方法、跨语言知识图谱对齐模型MTransE、经英文微调即可通用的统一嵌入模型、基于共享BPE的BiLSTM多语言表示学习(93种语言),以及覆盖百种语言、两千万实体的多语言实体链接。
本文研究了视觉语言模型的零样本跨语言迁移,通过基于Transformer模型的方法学习多语言多模态嵌入,实验结果表明该方法能显著提高非英语语言的视频搜索效果,并在多语言注释的情况下优于基准线。
本文提出了一种基于Transformer模型的方法来学习上下文相关的多语言多模态嵌入,以提高非英语语言的视频搜索效果。该方法引入多语言多模态预训练策略,并收集了一个新的多语言教学视频数据集进行预训练。实验结果表明,该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。
本文研究了视觉语言模型的零样本跨语言迁移,通过基于Transformer模型的方法学习上下文相关的多语言多模态嵌入,解决了非英语语言的视频搜索效果下降的问题。实验结果表明,该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。
完成下面两步后,将自动完成登录并继续当前操作。