通过多语言对比的语音音素预训练在任何语言中实现开放词汇关键词检测

本论文介绍了一个包含115多种语系的大规模多语言语音语料库，其中包括细粒度音素转录。作者提出了一种名为CLAP-IPA的多语言音素语音对比嵌入模型，能够在语音信号和音素转录的关键词或短语之间进行开放词汇匹配。该模型在97种未见过的语言上进行了测试，展示了强大的跨语言泛化能力。与基于文本的模型相比，使用音素作为建模单位具有更好的跨语言泛化能力。