第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测
内容提要
本文介绍了一种基于EfficientNet的情感识别算法，能够在移动设备上实时分析面部情感。该算法在ABAW竞赛中表现优异，采用多任务学习技术，提高了面部表情和情感估计的准确性。同时，研究探讨了多模态特征和Transformer在情感分析中的应用，展示了其在多个挑战中的领先表现。
延伸解读
从单任务到多任务：情感识别技术的演进
文章梳理了ABAW竞赛中情感识别方法的演进脉络。早期工作基于单个EfficientNet模型，在单任务表情分类、效价-唤醒估计上较VggFace基线提升0.15-0.2，成为后续基准。随后研究引入多任务学习，在静态照片上同时进行表情、愉悦度和唤醒度识别，并利用合成数据提升效果。这表明多任务学习能有效利用任务间关联，提高模型泛化能力。
多模态与Transformer：性能提升的关键
文章指出，基于多模态特征和Transformer的统一框架在ABAW3竞赛中EXPR和AU任务排名第一。该框架结合视觉和音频信息，并运用数据平衡和增强方法。另一项工作使用Transformer机制进行表情分类，在Aff-Wild2数据集上表现有效。多模态融合和Transformer的引入，显著提升了模型对复杂情感行为的建模能力，成为当前领先方案的核心。
ABAW竞赛任务设置与评估
第六届ABAW竞赛包含五类任务：估计效价和唤醒度两个连续情感维度、识别七种基本表情和其他表情、检测12个动作单元、识别七种互斥复合表情以及估计六个连续情感维度的情感模仿强度。竞赛使用Aff-Wild2和Hume-Reaction数据集，并设有相应的评估指标和基准系统。这些任务覆盖了情感行为的多个层面，推动了自动情感分析的发展。
Q&A
HSEmotion团队在ABAW比赛中使用了什么算法进行情感识别？
HSEmotion团队使用了一种基于EfficientNet的情感识别算法。
ABAW比赛中有哪些主要挑战？
ABAW比赛包括情感估计、表情分类、动作单位检测和情绪反应强度估计四个挑战。
HSEmotion团队的算法在性能上相比VggFace基线提高了多少？
该算法在性能指标上提高了0.15-0.2。
多任务学习技术在情感识别中有什么应用？
多任务学习技术用于静态照片上进行面部表情、愉悦度和唤起度的识别。
HSEmotion团队的模型在ABAW比赛中取得了什么成绩？
该模型在多个挑战中表现优异，尤其在AU和表情分数上取得了0.712和0.477的成绩。
该研究如何利用多模态特征和Transformer提高模型性能？
研究提出了一种基于多模态特征和Transformer的统一框架，结合数据平衡和增强方法来提高模型性能。
