基于时空序列和关系学习的情感 - 激活估计的多模态融合方法
内容提要
本文介绍了一种结合预训练二维CNN和多个平行TCN的视听空间时域深度神经网络，旨在提升情感识别的准确性。同时，研究提出了基于多模态特征和Transformer的框架，优化情感行为分析和表情识别，取得了显著的实验成果。
延伸解读
技术架构的融合策略
文章提出的视听空间时域深度神经网络，结合预训练二维CNN与多个平行TCN，分别处理视觉和听觉模态。通过跨验证充分利用数据并缓解过拟合，同时采用交界面关注机制强调视觉模态、利用嘈杂的听觉模态。这种设计旨在提升情感识别中valence和arousal的预测准确度，并在测试中通过CCC测试验证了有效性。
多模态Transformer框架的应用
研究还提出基于多模态特征和Transformer的统一框架，用于情感行为分析和表情识别任务。该框架运用数据平衡和增强方法进一步提高模型性能，在ABAW3竞赛中于EXPR和AU任务上排名第一，显示出显著的性能提升。这表明Transformer在整合多模态信息方面具有潜力。
情感估计框架的性能表现
另一个基于多模态的情感估计框架通过提取比赛数据集中不同长度视频的多模态特征（包括音频、姿态和图像）来确定情感趋势，在验证数据集中达到0.361的性能。该结果提供了该框架在连续情感预测任务上的基准，但需注意其性能可能受数据集和任务设置影响。
音频视觉情感识别的发展脉络
文章回顾了从2017年到2024年音频和视觉深度学习方法在非控制环境情感识别中的进展，包括使用微调CNN和公共维度情绪模型（PDEM）比较模态，以及多阶段训练的模态特定DNN嵌入来比较时间建模和融合策略。这些工作基于AffWild2数据集和ABAW挑战协议，反映了该领域持续关注多模态融合与鲁棒性提升。
Q&A
这项研究提出了什么样的深度神经网络架构？
研究提出了一种结合预训练二维CNN和多个平行TCN的视听空间时域深度神经网络。
该方法如何提高情感识别的准确性？
通过跨验证充分利用数据，缓解过度拟合，并使用交界面关注机制强调视觉模态。
在测试中，该方法的表现如何？
在测试集中，该方法在valence和arousal方面通过CCC测试，准确度明显提升。
研究中使用了哪些技术来优化情感行为分析？
研究提出了基于多模态特征和Transformer的框架，优化情感行为分析和表情识别。
该方法在ABAW3竞赛中的表现如何？
实验证明该方法在ABAW3竞赛中在EXPR和AU方面排名第一，显示出显著的性能提升。
研究中提到的交界面关注机制有什么作用？
交界面关注机制用于强调视觉模态，从而提高情感识别的准确性。
