BriefGPT - AI 论文速递
·
增强CTC基础的视觉语音识别
内容提要
本文介绍了一种基于CTC/注意力混合架构的视觉语音识别（VSR）模型，该模型结合音频和视觉模态，特别在噪声环境中表现优异。通过优化设计和数据增强，模型在多个数据集上实现了领先的识别准确率，展示了其在视觉语音识别领域的重要贡献。
关键要点
-
本文介绍了一种基于CTC/注意力混合架构的视觉语音识别模型，结合音频和视觉模态。
-
该模型在LRS2数据库上识别率比仅音频模型提高了1.3个百分点，尤其在噪声环境中表现优异。
-
通过优化模型设计、增加数据扩充，该模型在不同语言下超越了以前的所有基于公开数据集的模型表现。
-
使用音频和视觉模态改善噪声鲁棒性，实验结果显示字错误率分别为2.3%和1.8%。
-
提出的Lip2Vec模型通过学习嘴唇序列的编码潜在表示，实现了有效的文本解码，在LRS3数据集上实现了26的错误率（WER）。
-
新颖的资源高效方法利用训练过的ASR模型生成的语音表示进行视觉语音识别，达到了竞争性的性能。
-
在中国连续视觉语音识别挑战赛中，NPU-ASLP-LiAuto系统在单说话人和多说话人任务上均取得了优异成绩。
-
通过引入多语种音视频语音识别模型，提高了模型性能和音频噪音稳健性，达到了领先水平。
-
强调了数据处理中的多尺度视频数据生成及多种增强技术的应用，显示出该系统在视觉语音识别领域的重要贡献。
延伸问答
什么是视觉语音识别（VSR）模型？
视觉语音识别（VSR）模型是一种结合音频和视觉模态的语音识别技术，旨在提高在噪声环境中的识别准确率。
该模型在噪声环境中的表现如何？
该模型在噪声环境中表现优异，字错误率分别为2.3%和1.8%。
Lip2Vec模型的主要功能是什么？
Lip2Vec模型通过学习嘴唇序列的编码潜在表示，实现有效的文本解码，在LRS3数据集上达到26的错误率（WER）。
如何提高视觉语音识别模型的性能？
通过优化模型设计、增加数据扩充和引入多语种音视频模型，可以显著提高视觉语音识别模型的性能。
NPU-ASLP-LiAuto系统在比赛中的表现如何？
NPU-ASLP-LiAuto系统在2023年中国连续视觉语音识别挑战赛中，在单说话人和多说话人任务上均取得了优异成绩，排名第一。
该研究使用了哪些数据增强技术？
研究强调了多尺度视频数据生成及多种增强技术的应用，以提升视觉语音识别的性能。
