零對應跨模態轉換的模塊化語音轉文本翻譯
原文中文，约400字，阅读约需1分钟。发表于：。通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。
本文提出了一种基于Transformer模型的方法来学习上下文相关的多语言多模态嵌入，以提高非英语语言的视频搜索效果。该方法引入多语言多模态预训练策略，并收集了一个新的多语言教学视频数据集进行预训练。实验结果表明，该方法在多语言文本到视频搜索和多语言文本到图像搜索方面优于基准线。
