本文介绍了一种基于参数效率学习(PEL)和最优传输(OT)理论的低资源口音自适应文本到语音(TTS)模型,旨在提升普通话口音的自然度和性能。该模型通过迁移学习和少样本方法,在多语言语音合成中表现优异,能够在有限数据下生成高质量语音合成。实验结果表明,该方法在跨语言信息共享和“代码切换”合成中效果良好。
本文探讨了零样本语音克隆与多语言低资源语音合成的结合,展示了如何在仅有5分钟训练数据的情况下学习新语言,并保持对不同说话者声音的推断能力。研究分析了自动演讲者验证模型的性能受音频质量和参与者特征的影响,并提出了改进数据收集的建议。此外,研究展示了多语言语音合成和转换在自动语音识别系统中的应用,强调了使用少量真实说话者数据的有效性。
该文汇总多语言语音合成研究,包括发布首个约8小时的蒙古文TTS开源数据集、提出多语言多说话者模型MParrotTTS、开发英印等语言对语音翻译系统、推出30小时蒙古语多说话者数据集MnTTS2,并探索低资源语言迁移、代码混合印地英语TTS及阿拉伯语、马拉雅拉姆语语料库。
完成下面两步后,将自动完成登录并继续当前操作。