增强CTC基础的视觉语音识别
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文介绍了一种基于CTC/注意力混合架构的视觉语音识别（VSR）模型，该模型结合音频和视觉模态，特别在噪声环境中表现优异。通过优化设计和数据增强，模型在多个数据集上实现了领先的识别准确率，展示了其在视觉语音识别领域的重要贡献。
❓
Q&A
什么是视觉语音识别（VSR）模型？
视觉语音识别（VSR）模型是一种结合音频和视觉模态的语音识别技术，旨在提高在噪声环境中的识别准确率。
该模型在噪声环境中的表现如何？
该模型在噪声环境中表现优异，字错误率分别为2.3%和1.8%。
Lip2Vec模型的主要功能是什么？
Lip2Vec模型通过学习嘴唇序列的编码潜在表示，实现有效的文本解码，在LRS3数据集上达到26的错误率（WER）。
如何提高视觉语音识别模型的性能？
通过优化模型设计、增加数据扩充和引入多语种音视频模型，可以显著提高视觉语音识别模型的性能。
NPU-ASLP-LiAuto系统在比赛中的表现如何？
NPU-ASLP-LiAuto系统在2023年中国连续视觉语音识别挑战赛中，在单说话人和多说话人任务上均取得了优异成绩，排名第一。
该研究使用了哪些数据增强技术？
研究强调了多尺度视频数据生成及多种增强技术的应用，以提升视觉语音识别的性能。
🏷️
