AU-vMAE：通过视频遮罩自编码器实现动作单元检测的知识引导
内容提要
本研究介绍了多种基于自监督学习的面部表情识别模型，强调了在数据稀缺情况下的有效性。通过对比学习、区域和时序辅助任务等方法，显著提升了面部动作单元（AU）检测的性能，尤其在多个数据集上取得了最先进的结果，有效解决了标签噪音和数据不平衡等挑战。
延伸解读
自监督学习如何缓解AU检测的数据瓶颈
文章指出，面部动作单元（AU）检测常受限于标注数据稀缺和标签噪音。自监督学习通过从未标注视频中学习表示，能显著减少对大量标注数据的依赖。例如，MAE-Face在仅微调1%数据时仍取得良好效果，而对比学习方法通过跨身份重建机制学习人物无关表示，缩小了自监督与有监督方法的性能差距。这些策略为实际应用中数据不足的场景提供了可行路径。
多视角与辅助任务：提升AU表示鲁棒性的两条路径
文章介绍了两种增强AU表示的方法：一是从同步多视角视频中通过交叉视角重构注入几何信息，获得对视角变化鲁棒的表示，并在NTU-60等数据集上取得最先进结果；二是RTATL框架设计RoI修复和光流估计辅助任务，捕捉AU局部特征与运动线索，在BP4D和DISFA上达到最优性能。两者分别从视角不变性和任务辅助角度提升了模型泛化能力。
应对标签噪音与类别不平衡的针对性设计
AU检测中普遍存在像素级学习困难、标签噪音和AU类型不平衡等问题。文章提到，通过增强的对比学习框架结合监督与自监督信号，并采用样本采样、重加权策略及AUNCE损失函数，能有效获取区分性特征，性能优于最先进方法。此外，AUFormer引入MDWA-Loss以关注激活AU、区分未激活AU并排除潜在标签错误样本，进一步提升了检测的鲁棒性。
Q&A
MAE-Face模型的主要特点是什么？
MAE-Face模型使用自监督学习方法，在仅微调1%数据的情况下，能够取得良好的面部动作单元（AU）检测和强度估计结果。
如何解决面部动作单元检测中的标签噪音问题？
通过引入增强的对比学习框架，结合监督和自监督信号，采用样本采样、重加权策略等方法，有效解决了标签噪音和AU类型不平衡的问题。
自监督对比学习方法的优势是什么？
自监督对比学习方法能够从未标注的面部视频中学习AU表示，显著减小自监督和有监督方法之间的性能差距，解决数据稀缺问题。
区域和时序辅助任务学习框架（RTATL）是如何工作的？
RTATL框架通过设计辅助任务，如RoI修复和光流估计，捕捉AU的局部特征和运动线索，从而提升AU识别性能。
多视角视频如何帮助面部表情识别？
多视角视频通过交叉视角重构任务注入几何信息，增强模型对视角变化的鲁棒性，从而改善面部表情识别的效果。
该研究在数据集上的表现如何？
研究在NTU-60、NTU-120和ETRI数据集上报告了最先进的结果，并在其他数据集上进行了迁移学习，证明了方法的鲁棒性。
