揭示预训练在直接语音翻译中的作用

BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

本文介绍了一种在语音翻译中使用离散语音单元的自监督学习模型。通过在有限数据上微调，使模型更紧凑，推理更快。相比传统的自动语音识别预训练，该方法无需转录，适合资源有限的环境。在CoVoST-2 X-En数据集上，提升了0.5的BLEU得分，模型大小减半，效果与传统方法相当。