本文研究了使用Whisper作为多语言语音模型示例。通过语音编码器生成的话语表征,保留了一些语言敏感信息,但不同语言的单词映射到相似的语义空间。通过共享的嵌入空间,证明了零-shot跨语言转移在语音翻译中的应用。Whisper在使用英语到中文翻译数据进行微调后,在其他语言的输入话语上表现出性能提升。通过跨语言表示,Whisper可以对预训练过程中未见的语言进行语音翻译。
完成下面两步后,将自动完成登录并继续当前操作。