BriefGPT - AI 论文速递
·
零對應跨模態轉換的模塊化語音轉文本翻譯
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文提出了一种基于Transformer模型的方法来学习上下文相关的多语言多模态嵌入，以提高非英语语言的视频搜索效果。该方法引入多语言多模态预训练策略，并收集了一个新的多语言教学视频数据集进行预训练。实验结果表明，该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。
🎯
关键要点
- 本文研究视觉语言模型的零样本跨语言迁移。
- 提出了一种基于Transformer模型的方法，学习上下文相关的多语言多模态嵌入。
- 在零样本设置下，非英语句子查询多语言文本-视频模型时性能显著下降。
- 引入多语言多模态预训练策略，并收集新的多语言教学视频数据集MultiHowTo100M进行预训练。
- 实验结果表明，该方法显著提高非英语语言的视频搜索效果，无需额外注释。
- 在有多语言注释的情况下，该方法在多语言文本到视频搜索和图像搜索方面优于最近的基准线。
🏷️
标签
➡️
