SUN 团队在 ABAW 2024 竞赛中的贡献：音频视觉的情感倾向与表达识别
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文探讨了利用预训练深度模型提取静态照片中的情感特征，提出了多任务流网络和多模态学习方法，显著提升了情感自动识别的性能。实验结果表明，该方法在多个情感分析竞赛中表现优异，有效提取音频和视觉数据中的情感特征。
🔎
延伸解读
多任务流网络的设计思路
文章提出利用多任务流网络处理情感识别任务，通过共享表示同时学习面部表情、效价和唤醒度。这种设计能利用任务间的相关性，提升模型泛化能力。与单任务模型相比，多任务方法在验证集上的质量指标有显著提高，说明联合学习有助于捕捉情感的多维度特性。
多模态融合的实际效果
研究采用视觉和音频双流架构，分别处理图像和声音信息，并利用序列模型建模视频帧间的时序关联。在Aff-Wild2数据库上的实验显示，该方法在动作单元检测和表情分类上分别达到0.712和0.477的分数，验证了多模态融合在情感行为分析中的有效性。
在ABAW竞赛中的定位
ABAW竞赛聚焦野外环境下的情感行为分析，涵盖效价-唤醒估计、表情分类、动作单元检测等挑战。本文方法在多个竞赛任务中表现优异，表明其能适应真实场景中的复杂变化。但文章未详细说明与其他参赛队伍的对比细节，读者需注意其结论主要基于自身实验设置。
❓
Q&A
如何利用预训练深度模型提取静态照片中的情感特征？
可以通过多任务流网络和多模态学习方法来提取静态照片中的情感特征，显著提升情感自动识别的性能。
多任务流网络在情感识别中有什么优势？
多任务流网络能够有效识别面部表情、价值和唤起，显著提高验证集上的质量指标。
该研究在情感分析竞赛中的表现如何？
该方法在多个情感分析竞赛中表现优异，取得了较高的AU分数和表情分数。
多模态学习方法如何提升模型性能？
通过结合视觉和音频信息，利用序列模型提取视频帧之间的关联，从而提升模型的性能。
ABAW竞赛的主要挑战有哪些？
ABAW竞赛包括情感估计、表情分类、动作单位检测和情绪反应强度估计等四个挑战。
如何通过音频和视觉数据进行情感分析？
可以通过提取音频和视觉特征，并利用时间卷积网络和Transformer编码器结构来进行情感分析。
🏷️
