自监督自适应多语言语音模型的预训练用于语言和方言识别

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

研究者提出了自监督自适应预训练(SAPT)来解决预训练语音模型领域不匹配的问题。实验证明,SAPT在FLEURS基准测试中提高了XLSR的性能,尤其是对于少数语言,增益高达40.1%。同时,在少样本学习设置中应用SAPT也提高了XLSR的样本效率。通过自监督实现持续自适应可以提升多语言语音模型的下游性能。

🎯

关键要点

  • 研究者提出自监督自适应预训练(SAPT)以解决预训练语音模型领域不匹配的问题。
  • SAPT在FLEURS基准测试中显著提高了XLSR的性能,尤其是对少数语言的增益高达40.1%。
  • 在少样本学习设置中应用SAPT也提高了XLSR的样本效率。
  • 通过自监督实现持续自适应可以提升多语言语音模型的下游性能。
➡️

继续阅读