本文汇总多项视觉语音识别(VSR)研究:探索离散单元在端到端语音处理中的应用;利用唇动实现多语言VSR并优化模型与数据扩充;借助Whisper为低资源语言自动标注;介绍2023年中国连续VSR挑战赛系统,单说话人CER 34.76%、多说话人41.06%,三个赛道均第一;提出向量量化学习离散语言单元;用ASR表示实现资源高效VSR;以自监督多模态学习提升识别;并提出统一多语言语音文本表示模型。
完成下面两步后,将自动完成登录并继续当前操作。