MunTTS: 一个 Mundari 语文到语音系统
内容提要
该文汇总多语言语音合成研究，包括发布首个约8小时的蒙古文TTS开源数据集、提出多语言多说话者模型MParrotTTS、开发英印等语言对语音翻译系统、推出30小时蒙古语多说话者数据集MnTTS2，并探索低资源语言迁移、代码混合印地英语TTS及阿拉伯语、马拉雅拉姆语语料库。
延伸解读
蒙古语TTS数据资源的进展
文章汇总了多个蒙古语TTS数据集，包括首个约8小时的开源数据集和30小时的MnTTS2多说话者数据集。这些资源为蒙古语TTS研究提供了重要基础，尤其是MnTTS2的规模支持构建鲁棒的多说话者模型。基线系统基于FastSpeech2和HiFi-GAN，在MOS评分上达到4以上，RTF约为0.33，表明已具备实际应用潜力。
多语言与低资源TTS的技术路径
MParrotTTS模型通过自监督语音表示和模块化训练，能够以少量监督数据适应新语言，并跨语言转移语音且保留说话者特点。低资源语言迁移方法显示，仅需约15分钟成对数据即可构建相对良好的TTS系统。这些技术为资源匮乏语言提供了可行方案，但实际效果可能受语言相似度和数据质量影响。
语音翻译与代码混合TTS的实践
文章介绍了英-印度语等语言对的级联语音翻译系统，以及生产级代码混合印地语-英语TTS系统。后者采用数据导向方法，利用单语数据集进行双语训练，在纯代码混合测试集上表现良好。通过迁移学习和解码器微调，仅需3小时数据即可引入新语音，CMOS分数达到0.02，展示了在资源受限场景下的有效性。
Q&A
MunTTS 是什么？它有什么特点？
MunTTS 是一个 Mundari 语的文本到语音系统。文章提到它汇总了多语言语音合成研究，但未提供 MunTTS 的具体细节。
有哪些开源蒙古语 TTS 数据集？
文章提到了两个开源蒙古语 TTS 数据集：一个是约 8 小时的专业女性播音员录音数据集，另一个是 MnTTS2，包含 30 小时的多说话者语音数据。
MParrotTTS 模型有什么优势？
MParrotTTS 是一个统一的多语言、多说话者 TTS 模型，能够生成高质量语音。它使用自监督语音表示的模块化训练范式，能以最少监督数据适应新语言，泛化到未见语言，且无需双语或平行例子即可跨语言转移语音并保留说话者特点。在六种语言上优于现有最先进模型。
如何为低资源语言构建 TTS 系统？
文章提到两种方法：一是通过微调英语预训练的 Tacotron2 模型，使用有限的目标语言数据；二是从高资源语言迁移知识，通过学习源与目标语言间的语言符号映射，仅需约 15 分钟的成对数据即可获得相对良好的 TTS 系统。
代码混合的印地语-英语 TTS 系统是如何实现的？
文章提出了适用于电子商务的生产级代码混合印地语-英语 TTS 系统。采用数据导向方法，利用单语数据集进行单一脚本双语训练。使用 Tacotron2 + Waveglow 设置，评估了单说话人适应和多说话人训练，发现单说话人适应效果更好。结合迁移学习和仅解码器微调提高性能，与 Google TTS 相比 CMOS 得分为 0.02。低资源语音适应实验表明仅需 3 小时数据即可引入新语音。
有哪些针对阿拉伯语和马拉雅拉姆语的语音语料库？
文章提到了 ClArTTS，一个古典阿拉伯文本到语音合成的语音语料库，填补了阿拉伯语音语料库的空缺。还介绍了 IMaSC，一个包含约 50 小时录音的马拉雅拉姆文本和语音语料库，使用该数据集训练的 TTS 模型平均意见分数为 4.50，表现优于以前的研究和公开模型。
