BriefGPT - AI 论文速递
·
大型多语种模型在跨语言零样本多模态学习中的应用
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文研究了视觉语言模型的零样本跨语言迁移，通过基于Transformer模型的方法学习上下文相关的多语言多模态嵌入，解决了非英语语言的视频搜索效果下降的问题。实验结果表明，该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。
🎯
关键要点
- 研究视觉语言模型的零样本跨语言迁移。
- 专注于多语言文本到视频搜索，提出基于Transformer模型的方法。
- 学习上下文相关的多语言多模态嵌入。
- 发现非英语句子查询时性能显著下降。
- 引入多语言多模态预训练策略，收集新的多语言教学视频数据集（MultiHowTo100M）。
- 在VTT上的实验表明，方法显著提高非英语语言的视频搜索效果，无需额外注释。
- 在有多语言注释时，方法在VTT和VATEX上的多语言文本到视频搜索表现优于基准线。
- 在Multi30K上的多语言文本到图像搜索方面也大幅优于基准线。
➡️
