揭示预训练在直接语音翻译中的作用
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了一种在语音翻译中使用离散语音单元的自监督学习模型。通过在有限数据上微调,使模型更紧凑,推理更快。相比传统的自动语音识别预训练,该方法无需转录,适合资源有限的环境。在CoVoST-2 X-En数据集上,提升了0.5的BLEU得分,模型大小减半,效果与传统方法相当。
🎯
关键要点
-
本文介绍了一种在语音翻译中使用离散语音单元的自监督学习模型。
-
通过在有限数据上微调,使模型更紧凑,推理更快。
-
该方法相比传统的自动语音识别预训练,无需转录,适合资源有限的环境。
-
在CoVoST-2 X-En数据集上,提升了0.5的BLEU得分。
-
模型大小减半,效果与传统方法相当。
➡️