通过学习离散化的视觉口语单位单模型实现多语言视觉口语识别
内容提要
本文汇总多项视觉语音识别（VSR）研究：探索离散单元在端到端语音处理中的应用；利用唇动实现多语言VSR并优化模型与数据扩充；借助Whisper为低资源语言自动标注；介绍2023年中国连续VSR挑战赛系统，单说话人CER 34.76%、多说话人41.06%，三个赛道均第一；提出向量量化学习离散语言单元；用ASR表示实现资源高效VSR；以自监督多模态学习提升识别；并提出统一多语言语音文本表示模型。
延伸解读
离散单元：语音处理的新思路
文章指出，对离散单元在端到端语音处理模型中的应用进行了系统和全面的探索，实验证明离散单元在几乎所有设置中都能取得相当好的结果。这提示离散表示可能成为语音识别与合成的一种有效建模方式，但文章未展开具体实验设置与对比细节，读者需结合原论文判断其适用边界。
低资源视觉语音识别的两条路径
针对低资源语言，文章汇总了两种思路：一是利用Whisper模型进行语言识别和基于音频的语音识别，从而在没有人工注释的情况下获得与人工标签相似的VSR性能；二是从已训练的ASR模型中提取语音表示，仅用未标记音视频数据在LRS2和LRS3上分别达到47.4%和54.7%的WER，微调后降至35%和45.7%。两者都强调减少对人工标注的依赖。
挑战赛成绩反映的当前水平
2023年中国连续VSR挑战赛中，NPU-ASLP-LiAuto系统在多系统融合后，单说话人任务CER为34.76%，多说话人任务为41.06%，在所参与三个赛道均排名第一。这组数字可作为连续视觉语音识别当前性能的参考，但也说明多说话人场景的识别难度仍明显高于单说话人，CER距离实用化仍有距离。
统一表示与多语言扩展
文章还介绍了一种统一多语言语音文本表示的模型：用自监督语音特征的量化表示作为语音单元，将语音视为伪文本，并通过单位到单位翻译目标训练编码器-解码器，使单一预训练模型可用于语音到语音翻译、多语言TTS和文本到语音翻译等任务。这展示了离散单元在多语言场景中的复用潜力，但文章未给出具体性能数据。
Q&A
离散单元在端到端语音处理中效果如何？
实验证明离散单元在几乎所有设置中都能取得相当好的结果，表明其在端到端语音处理模型中具有广泛适用性。
如何利用唇动实现多语言视觉语音识别并提升性能？
通过优化模型设计和参数、加入额外任务以及增加数据扩充，提高了模型在不同语言下的性能，超越了之前基于公开数据集的模型，甚至比基于非公开数据集的模型表现更好。
Whisper模型如何帮助低资源语言的视觉语音识别？
使用Whisper模型进行语言识别和基于音频的语音识别，可以在没有人工注释的情况下获得与人工注释标签相似的VSR性能，并为大规模无标注多语言数据库提供自动标签。
2023年中国连续VSR挑战赛中NPU-ASLP-LiAuto系统的成绩如何？
在多系统融合后，单说话人任务CER为34.76%，多说话人任务CER为41.06%，在所有三个跟踪中排名第一。
如何学习离散语言单元并应用于ZeroSpeech挑战？
通过将向量量化层整合到基于视觉语音的神经模型中学习离散语言单元，可以捕捉单词级别和子词级别的单元，并将子词单元应用于ZeroSpeech 2019挑战，取得了较好结果。
资源高效的VSR方法如何利用ASR表示？
从已训练的基于Conformer的ASR模型中提取知识，仅使用未标记的音频-视觉数据，在LRS2和LRS3测试基准上分别达到47.4%和54.7%的WER；有限标记数据微调后降至35%和45.7%。模型可在单个消费级GPU上几天内训练完成，并能在老旧硬件上实时进行端到端VSR。
自监督多模态学习如何提升音频-视觉语音识别？
通过使用未标注的单模态数据和大规模自监督学习，该方法在实验中取得了相对改善30%的优越结果。
统一多语言语音文本表示模型能完成哪些任务？
该模型通过单位到单位翻译（UTUT）目标训练，单个预训练模型可用于语音到语音翻译（STS）、多语言文本到语音合成（TTS）和文本到语音翻译（TTST），并能执行多对多语言STS。
