TransVIP: 保留声音和等时性的语音到语音翻译系统
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
该研究介绍了Translatotron 2，一种高质量的神经语音转语音翻译模型，能够保留说话者的声音并保护隐私。研究还探讨了语音转写与翻译的端到端模型，提出了优化一致性的技术，并展示了多种基于神经网络的语音翻译系统的有效性。
❓
Q&A
Translatotron 2 是什么？
Translatotron 2 是一种神经直接语音转语音翻译模型，具备优秀的翻译和语音生成质量。
Translatotron 2 如何保护说话者的隐私？
该模型能够保留原始说话者的声音，从而增强隐私保护。
端到端模型与传统串联式方法有什么区别？
端到端模型通过耦合推理过程实现更强的一致性，而传统串联式方法则不适用于此任务。
研究中提到的多任务训练有什么优势？
多任务训练的端到端模型在直接语音翻译中表现优于其他基线模型，特别适合利用辅助训练数据。
PolyVoice 系统的主要功能是什么？
PolyVoice 系统利用离散化语音单元实现未书写语言的翻译，生成高质量的翻译和音频。
该研究如何优化语音翻译的一致性？
研究引入了直接优化一致性的技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。
🏷️
