具有面部区域感知的自监督面部表征学习
内容提要
本文综述了通用人脸表征学习方法，包括监督与无监督预训练、掩蔽图像建模、对比学习及自监督框架（如FaRL、FAb-Net、MARLIN）。研究表明无监督方法在多任务中表现优异，且现有视频数据集存在冗余。
延伸解读
无监督预训练的优势与数据冗余问题
文章通过大量实验发现，无监督预训练方法在人脸任务中表现出一致且显著的准确性提升，这为缺乏标注数据的人脸分析提供了可行路径。同时，研究指出现有的人脸视频数据集存在大量冗余，这意味着训练时可能需要更高效的数据筛选或去重策略，以避免计算浪费和过拟合。
自监督框架的多样性及其适用场景
文章综述了多个自监督框架，如FaRL、FAb-Net、MARLIN等。FaRL结合对比损失和掩蔽图像建模，同时捕捉高层语义和低层信息；FAb-Net利用视频中面部轨迹的无监督学习；MARLIN则从网络爬取视频中学习鲁棒嵌入。这些方法各有侧重，适用于不同的人脸分析任务，如人脸解析、对齐、表情识别等。
特定任务下的方法创新与性能
针对口罩人脸识别，文章提到CAL和MFSA方法通过补充空间注意力聚焦口罩和背景区域，提取掩蔽不变特征，在不影响传统识别性能的前提下提升口罩场景准确性。对于面部动作单元识别，RTATL框架设计RoI修复和光流估计辅助任务，在BP4D和DISFA数据集上取得最优性能。这些案例展示了针对特定挑战的定制化设计。
Q&A
人脸表征学习有哪些主要方法？
人脸表征学习主要分为监督预训练和无监督预训练两种方法。无监督方法在各种人脸任务中表现出一致且显著的准确性提升。
FaRL框架是如何进行人脸表征学习的？
FaRL使用对比损失和掩蔽图像建模来同时掌握高层语义和低层信息，在大量图像和文本对上进行预训练，并在人脸解析和人脸对齐等任务中展现出比以往预训练模型更好的迁移表现。
FAb-Net是如何实现无监督人脸属性学习的？
FAb-Net通过观察视频中的人脸说话、笑和移动，将多帧视频面部轨迹嵌入到低维空间中进行训练，通过预测每帧的置信/注意力蒙版来学习人脸嵌入表达，无需标记数据监督，性能与最先进的自监督方法相当或超越。
MARLIN方法有什么特点？
MARLIN是一种自监督方法，从大量非标注网页爬取的面部视频中学习高度鲁棒和通用的面部嵌入，提取可转移特征，能有效一致地执行多种人脸分析任务，包括FAR、FER、DFD和LS，甚至在低数据范围内表现良好。
现有的人脸视频数据集存在什么问题？
现有的一些人脸视频数据集存在大量的冗余。
自监督学习在人脸分析任务中有什么优势？
自监督学习无需标记数据，能够从大量未标注数据中学习通用人脸表征，并在多种人脸分析任务中表现出与最先进方法相当或更好的性能，甚至在低数据范围内也能有效工作。
