本研究提出了一种基于双向长短时记忆网络的多视角口型识别系统,显著提高了分类精度。实验表明,该系统在噪音环境下的唇语识别有效性,并引入新方法提升鲁棒性,为阿拉伯语口型识别提供了新机会。
该文综述深度学习在面部与语音分析中的应用,涵盖面部表情识别、基于视频面部特征的老年人轻度认知障碍检测(准确率88%)、三维口部表情重建、语音重建面部图像、抑郁症自动检测、可穿戴设备手语识别(最高准确率99%)、无监督跨模态情感识别、自训练表情识别、借助唇部信息分离多人语音,以及唇语识别模型与LRS2-BBC数据集发布。
本论文研究了唇语识别的两种模型:使用自注意力机制的CTC和序列到序列模型。同时,介绍了新的数据集LRS2-BBC,并公开发布。实验结果表明,该模型在有噪音的情况下表现优于以前的相关工作。
完成下面两步后,将自动完成登录并继续当前操作。