通过视觉 - 语言联合学习实现端到端可解释的面部动作单元识别
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本文介绍了一种基于深度学习的面部表情识别算法，显著提升了在BP4D和DISFA数据集上的表现。研究提出了面部动作单元检测、表情合成和自监督学习模型等多种方法，推动了面部表情识别技术的发展。
❓
Q&A
这篇文章提出了什么新的面部表情识别算法？
文章提出了一种基于深度神经网络的面部表情识别算法，显著提高了在BP4D和DISFA数据集上的表现。
面部动作单元（AU）检测的主要方法是什么？
主要方法包括基于深度学习的注意力关系学习框架和混合网络体系结构，能够处理空间表示、时间建模和AU相关性。
GLEE-Net框架的主要特点是什么？
GLEE-Net框架使用无AU标签的表情数据集进行AU检测，包含三个分支提取独立于身份的表情特征，并通过Transformer多标签分类器融合表示。
如何改善BP4D和DISFA数据集的识别性能？
通过视频级预训练方案，利用多标签的面部行动单元和时间标签一致性，能够更好地建模面部结构和动作，从而改善识别性能。
自监督学习在面部表情识别中的应用是什么？
自监督学习方法MAE-Face在只Fine-tune 1%的数据集的情况下，仍能取得较好的AU检测和AU强度估计结果。
文章中提到的面部表情合成方法有什么创新？
文章提出了一种基于AU注释的生成对抗网络（LAC-GAN）控制AU状态的面部表情合成方法。
🏷️
