MSLM-S2ST：一个适用于无文本语音到语音翻译的多任务语音语言模型，保持说话人风格
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文介绍了一种多语言语音翻译模型，支持无文本的语音到语音翻译，采用自监督技术优化多说话者语音。研究表明，该模型在多语言翻译中优于传统双语模型，并在不同任务上取得显著改进，展现出强大的翻译能力和效率。
❓
Q&A
MSLM-S2ST模型的主要特点是什么？
MSLM-S2ST模型支持无文本的语音到语音翻译，采用自监督技术优化多说话者语音，表现优于传统双语模型。
该模型在翻译质量上有何优势？
该模型在VoxPopuli S2ST数据集上实现了平均3.2 BLEU分数的增益，翻译质量优于之前的最佳无文本模型。
MSLM-S2ST模型如何处理多语言翻译？
模型通过自监督单元级别的语音标准化技术，支持多个目标语言的翻译，且无需文本数据。
该模型在训练时需要多少数据？
该模型仅使用了10分钟的数据进行训练。
MSLM-S2ST模型的流式能力如何？
模型具备强大的流式能力和零-shot能力，能够在多种翻译任务中展现良好的翻译质量。
该模型在多任务学习中有什么创新？
模型通过多任务学习在端到端语音翻译中取得显著改进，能够有效模拟跨语言的语音转换。
🏷️
