基于多架构编码器和特征融合的面部情感识别 ——ABAW7 挑战赛
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本研究提出了一种基于多模态特征和Transformer的框架，用于情感行为分析和表情识别，结合数据平衡和增强方法以提升模型性能。实验结果表明，该方法在情感分类和面部表情识别任务中显著提高了准确性，预计将推动情感计算和深度学习的发展。
🔎
延伸解读
多模态与Transformer融合的技术路径
文章提出的框架结合了多模态特征和Transformer，用于情感行为分析和表情识别。通过预训练深度模型提取情感特征，并利用Vision Transformer和Transformer模型捕捉时空特征，同时引入随机帧遮罩学习和Focal损失处理不平衡数据。这些技术选择旨在提升模型在复杂场景下的准确性和适用性。
ABAW竞赛中的性能表现
在ABAW3竞赛中，该方法在EXPR和AU任务上排名第一，验证集性能指标较VggFace基线高0.15-0.2。在ABAW7多任务学习挑战赛中，结合Dinov2和AU-GCN等模块，验证集评估指标达到1.2542。这些结果表明该方法在情感计算任务中具有竞争力。
实时情感分析的应用潜力
研究提出基于EfficientNet的帧级情感识别算法，可在移动设备上实现实时视频人脸情感分析。该模型在Aff-Wild2数据集上性能优于VggFace基线，且因其简单性可作为四个子挑战的新基准。这为实时情感分析应用提供了可行方案。
❓
Q&A
该研究提出了什么样的框架用于情感行为分析和表情识别？
该研究提出了一种基于多模态特征和Transformer的框架。
研究中使用了哪些技术来提升模型性能？
研究结合了数据平衡和增强方法来提升模型性能。
该方法在ABAW3竞赛中的表现如何？
该方法在ABAW3竞赛中在情感分类和面部表情识别任务中排名第一。
研究中如何处理不平衡数据问题？
研究引入了针对不平衡数据的Focal损失来增强情绪和行为分析的准确性。
该研究的实时视频人脸情感分析算法有什么特点？
该算法基于EfficientNet，性能指标高于VggFace基线，适用于移动设备。
研究中使用了哪些模型来提取情感特征？
研究使用了预训练的深度模型和轻量级模型来提取情感特征。
🏷️
