跨语言迁移学习的语音翻译

本文研究了使用Whisper作为多语言语音模型示例。通过语音编码器生成的话语表征，保留了一些语言敏感信息，但不同语言的单词映射到相似的语义空间。通过共享的嵌入空间，证明了零-shot跨语言转移在语音翻译中的应用。Whisper在使用英语到中文翻译数据进行微调后，在其他语言的输入话语上表现出性能提升。通过跨语言表示，Whisper可以对预训练过程中未见的语言进行语音翻译。