MSLM-S2ST：一个适用于无文本语音到语音翻译的多任务语音语言模型，保持说话人风格
内容提要
本文介绍了一种多语言语音翻译模型，支持无文本的语音到语音翻译，采用自监督技术优化多说话者语音。研究表明，该模型在多语言翻译中优于传统双语模型，并在不同任务上取得显著改进，展现出强大的翻译能力和效率。
延伸解读
无文本语音翻译的突破
该模型无需文本数据即可进行语音到语音翻译，采用自监督单元级别的语音标准化技术，仅用10分钟数据训练，便在VoxPopuli S2ST数据集上实现平均3.2 BLEU分数的增益。这是首次建立可用于多种语言对的无文本S2ST技术，为缺乏书面形式的语言提供了可行的翻译方案。
多语言扩展与性能优势
模型支持多个目标语言，采用语音单元和语音合成器进行多语言扩展，在基准翻译测试集中表现优于传统双语模型。这表明多语言联合训练可能带来性能提升，而不仅限于单一语言对，为多语言语音翻译系统的构建提供了新思路。
相关技术背景与对比
文章提及了多个相关研究，如基于Translatotron 2的Textless Translatotron、流式多语言语音模型SM2、联合语音与语言模型SLM等。这些工作分别在无文本翻译、流式处理、多任务学习等方面取得进展，共同推动了语音翻译领域的发展，而MSLM-S2ST在保持说话人风格方面具有独特优势。
Q&A
MSLM-S2ST模型的主要特点是什么？
MSLM-S2ST模型支持无文本的语音到语音翻译，采用自监督技术优化多说话者语音，表现优于传统双语模型。
该模型在翻译质量上有何优势？
该模型在VoxPopuli S2ST数据集上实现了平均3.2 BLEU分数的增益，翻译质量优于之前的最佳无文本模型。
MSLM-S2ST模型如何处理多语言翻译？
模型通过自监督单元级别的语音标准化技术，支持多个目标语言的翻译，且无需文本数据。
该模型在训练时需要多少数据？
该模型仅使用了10分钟的数据进行训练。
MSLM-S2ST模型的流式能力如何？
模型具备强大的流式能力和零-shot能力，能够在多种翻译任务中展现良好的翻译质量。
该模型在多任务学习中有什么创新？
模型通过多任务学习在端到端语音翻译中取得显著改进，能够有效模拟跨语言的语音转换。
