多语言语音模型在自动语音识别中表现出性别性能差距
内容提要
该文综述多语种自动语音识别，研究跨语言迁移与单一声学模型多语训练。在51种语言、超1.6万小时数据上，联合模型、带语言输入联合模型和多头模型的平均WER分别相对降低20.9%、23%和28.8%，显著提升低资源语言性能。
延伸解读
多语言ASR的规模与性能提升
该研究在51种语言、超过1.6万小时语音数据上进行了大规模多语言ASR基准测试。与单语言训练相比，联合模型、带语言输入的联合模型和多头模型的平均词错误率（WER）分别相对降低20.9%、23%和28.8%。这表明多语言训练能显著提升识别性能，尤其对低资源语言效果明显，同时简化了多语言ASR系统的部署。
性别偏见与语音转换的改进
文章提及一项研究，通过将说话者性别元数据合并到单个“多性别”神经语音转换模型中，可以避免性别偏见并提高性别准确性（女性形式提高12.9）。相比专门的性别模型，该模型从零训练效果更好，而基于现有模型微调则不具备竞争力。这提示在多语言语音系统中，性别因素的合理处理可能有助于减少性能差距。
更大规模多语言模型的进展
另一项研究覆盖70种语言的大规模多语言ASR模型，通过优化多重嵌入和输出模型的标记化策略，相对于单语言模型实现了13.9%-15.6%的平均WER改进，并在Multilingual Librispeech上展示了高达9.5%的零样本学习WER表现。这说明多语言模型在泛化和零样本场景下具有潜力，但具体效果因语言和任务而异。
地缘政治与口音等公平性挑战
文章还涉及ASR公平性问题：一项审计发现英语ASR服务性能与说话者国籍的地缘政治关系显著相关；另一研究探讨了不同口音上的普适性挑战。这些表明，除了语言和性别，社会政治因素和口音多样性也可能导致性能差距，需要在多语言系统评估中予以关注。
Q&A
多语言自动语音识别模型相比单语言模型，在词错误率上能降低多少？
在51种语言、超过1.6万小时数据上的实验表明，与单语言基线相比，联合模型、带语言输入的联合模型和多头模型的平均WER分别相对降低20.9%、23%和28.8%。
多语言ASR训练对低资源语言有什么好处？
多语言训练可以显著提高低资源语言的自动语音识别性能，因为模型能够从高资源语言中迁移知识，缓解低资源语言数据不足的问题。
这项多语言ASR研究覆盖了多少种语言和多少小时的数据？
该研究覆盖了51种语言，使用了超过16,000小时的声音数据，是首次针对超过50种语言和超过16,000小时数据的大规模多语言ASR研究。
多语言ASR模型有哪些常见的架构类型？
文章提到了三种模型：联合模型、具有语言输入的联合模型和多头模型。这些模型在51种语言上进行了基准测试和比较。
多语言ASR系统在部署上有什么优势？
利用单一声学模型进行多种语言训练，可以简化支持多种语言的ASR系统的部署，无需为每种语言单独维护模型。
除了性能提升，多语言ASR研究还关注哪些社会偏见问题？
文章提到，通过将说话者性别元数据合并到单个“多性别”神经语音转换模型中，可以避免性别偏见并提高性别准确性；此外，还有研究探讨发言者国籍的地缘政治导向对ASR性能的影响，发现ASR服务性能与发言者国籍地缘政治与美国的关系具有显著性。
