第六届 ABAW 挑战赛上基于视觉语言模型的零样本复合表达识别
内容提要
本文探讨了利用预训练深度模型提取情感特征的方法，重点在于面部表情、价值和唤起的识别。研究通过多任务学习和多模态特征，展示了在情感分析竞赛中的有效性，并提出了新的模型和方法，显著提高了情感识别的准确性。
延伸解读
ABAW竞赛的演进与任务扩展
从第三届到第六届，ABAW竞赛的任务不断扩展。第三届包含四个挑战：效价-唤醒估计、表情分类、动作单元检测和多任务学习。第五届使用Aff-Wild2和Hume-Reaction数据集，增加了情绪反应强度估计。第六届则进一步涵盖复合表情识别和情感模仿强度估计，反映了情感计算领域对更复杂、更细粒度情感行为分析的需求。
多模态与Transformer架构的崛起
文章多次提到多模态特征和Transformer架构的应用。例如，基于多模态特征和Transformer的统一框架在ABAW3的EXPR和AU任务中排名第一；另一研究使用Transformer结合鲁棒表示编码和表示融合，在Aff-Wild2上有效进行表情分类。这表明Transformer和多模态融合已成为情感行为分析的主流技术方向。
连续学习在复合表情识别中的突破
针对复合表情识别，文章提出了一种受人类认知启发的连续学习方法，通过知识蒸馏和预测排序记忆重放，在少量训练样本下准确识别新复合表情类别。该方法在复杂面部表情识别的连续学习上达到最新水平，新类别整体准确率达74.28%，比非连续学习方法提升13.95%，并首次将少样本学习应用于该任务，每个类别仅用单个训练样本即实现100%准确率。
Q&A
第六届 ABAW 竞赛的主要目标是什么？
第六届 ABAW 竞赛旨在理解人类情感和行为，关注情感相关的基准任务。
该研究使用了哪些技术来提高情感识别的准确性？
研究使用了预训练深度模型、多任务学习和多模态特征来提高情感识别的准确性。
在 ABAW 竞赛中，参与者需要完成哪些挑战？
参与者需要完成情感价值和唤醒度估计、表情分类、动作单元检测等多个挑战。
新提出的连续学习方法有什么特点？
新方法通过知识蒸馏和记忆重放，能够准确识别使用少量训练样本的新复合表情类别。
该研究在情感分析竞赛中取得了怎样的成绩？
研究展示了在情感分析竞赛中显著提高了模型的性能和准确性。
使用 Transformer 机制的优势是什么？
使用 Transformer 机制结合鲁棒表示编码和表示融合，能有效进行表情分类。
