1000 名非洲人的声音：推进包容性多说话者多口音语音合成
内容提要
本研究聚焦于低资源非洲语言的语音合成，建立了数据集和TTS系统，发现仅需25分钟的录音即可生成可懂的语音。研究还探讨了种族表示的挑战，并发布了AfriSpeech数据集，以支持非洲语言的语音识别。通过多语言模型和自监督学习，构建了一个能够生成7000种语言语音的TTS系统，旨在帮助语言资源有限的社区。
延伸解读
低资源语言语音合成的数据效率
文章指出，仅需25分钟的录音就能生成可听懂的语音，这为低资源非洲语言提供了快速构建TTS系统的可能。同时，BibleTTS数据集提供了十种撒哈拉以南非洲语言的48kHz高质量单人录音，进一步降低了数据获取门槛。这些发现表明，在数据稀缺环境下，通过参与式方法收集少量语音即可启动语音技术开发，但语音质量可能受限于录音条件。
种族偏见对语音合成的影响
研究通过焦点小组发现，开发非洲裔美国人TTS系统时面临种族表示挑战。参与者无法正确将非洲裔美国人的声音归因于对应TTS系统，却能正确识别白人TTS系统的种族。这暗示非非洲裔美国人可能因无能或潜在偏见，难以将教育水平高、非方言的专业声音与非洲裔美国人关联。该结果提醒开发者，语音合成中的种族偏见可能影响系统接受度。
多语言模型与自监督学习的进展
文章提到，通过大规模多语言预训练和元学习，构建了能生成超过7000种语言的单一TTS系统。MMS项目则利用宗教文本数据集和自监督学习，训练了1406种语言的wav2vec 2.0模型等。这些方法显著提升了低资源语言的语音识别和合成质量，例如在FLEURS基准上将Whisper的单词错误率减少一半以上，且仅使用少量标记数据。
口音转换与包容性系统构建
针对口音问题，研究提出利用多级变分自编码器与对抗学习的TTS模型，通过客观和主观评估显示口音转换能力优于基线。另一项工作尝试加入声学知识改进口音转换，并利用合成带口音数据训练ASR系统，结果发现能提高对已见口音的理解，但无法推广到未见口音或纯母语模型。这表明口音处理仍需更泛化的方法。
Q&A
这项研究的主要目标是什么？
研究的主要目标是推进低资源非洲语言的语音合成，建立数据集和TTS系统。
如何生成可懂的语音？
仅需25分钟的录音即可生成可懂的语音，支持12种非洲语言。
AfriSpeech数据集的作用是什么？
AfriSpeech数据集为非洲的语音识别提供公开的基准测试集和预训练模型。
研究中提到的种族表示挑战是什么？
研究探讨了在开发非洲裔美国人语音合成系统时面临的技术困难和偏见问题。
该研究如何提升语音识别质量？
通过大规模多语言预训练和元学习方法来提高语音识别质量。
研究中使用了哪些技术来解决口音问题？
研究提出了利用多级变分自编码器与对抗学习的模型来解决语音合成中的口音问题。
