百灵 TTS：面向人类化自然表达的汉语方言语音合成
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新颖的中文方言TTS前端和翻译模块，旨在将普通话文本转化为方言，以提高语音合成的可懂性和自然度。实验结果表明，该方法在粤语上的性能显著提升。此外，研究还探讨了多说话人语音合成、跨语言语音转移及情感语音合成模型，均取得良好效果。
🔎
延伸解读
翻译与TTS前端结合的意义
本文首次将翻译与TTS前端结合，把标准普通话文本转化为方言表达，以提高语音合成的可懂性和自然度。这种方法不同于直接合成方言语音，而是通过前端翻译确保文本符合方言习惯，从而提升合成质量。实验在粤语上显示2.56 BLEU和0.27 MOS的提升，表明该思路有效。
粤语实验结果的解读
在粤语上，该方法取得了2.56 BLEU和0.27 MOS的性能提升。BLEU衡量翻译质量，MOS评估语音自然度。这两个指标共同表明，翻译模块能有效将普通话转化为粤语表达，并提升合成语音的可懂性和自然度。但需注意，这些结果仅针对粤语，其他方言的泛化能力有待验证。
相关研究的多样性
文章还涉及多说话人语音合成、跨语言语音转移及情感语音合成等研究。例如，AISHELL-3数据集用于多说话人合成，跨语言语音转移无需平行数据，情感语音合成可预测情感标签。这些工作展示了语音合成领域的广泛探索，但本文主要聚焦于方言TTS前端，其他内容仅为背景参考。
❓
Q&A
百灵 TTS 的主要功能是什么？
百灵 TTS 的主要功能是将普通话文本转化为方言，以提高语音合成的可懂性和自然度。
该方法在粤语上的实验结果如何？
在粤语上的实验结果显示出2.56 BLEU和0.27 MOS的性能提升。
百灵 TTS 采用了哪些技术？
百灵 TTS 采用了非自回归神经机器翻译模型和多种技巧。
研究中还探讨了哪些语音合成模型？
研究中探讨了多说话人语音合成、跨语言语音转移及情感语音合成模型。
百灵 TTS 如何提高语音合成的自然度？
通过将普通话文本转化为方言，百灵 TTS 提高了语音合成的自然度。
该研究的创新点是什么？
该研究的创新点在于首次将翻译与 TTS 前端相结合。
🏷️
