利用掩模自编码器、时域卷积网络和转换器进行连续情感识别的自预训练强化
内容提要
本文介绍了在第四届野外情感行为分析竞赛中提出的多任务学习方法，利用深度模型提取情感特征，显著提高了情感分类和评估的准确性。研究表明，基于Transformer的架构和EfficientNet模型在实时视频情感分析中表现优异，尤其在多模态特征提取和情感反应强度评估方面超越了基线方法。
延伸解读
多模态与单模态方法的性能差异
文章指出，基于Transformer的架构在输入模态缺失时仍能识别情绪，通过交叉关注和自关注机制强调模态间关系，在Ul-TSST数据集上预测唤醒和价值的CCC分别比后期融合基准提高了37%和30%。这表明多模态融合能提升性能，但单模态方法在模态缺失时也有一定鲁棒性。
实时情感分析的轻量化趋势
文章提到基于EfficientNet的帧级情感识别算法，使用单个预训练AffectNet模型提取面部特征，可在移动设备上实现实时视频人脸情感分析。在Aff-Wild2数据集上，其性能指标比VggFace基线高0.15-0.2，且因简单性可作为新基准。这反映了情感识别向轻量化和实时应用发展的趋势。
预训练特征在连续情感识别中的优势
文章研究表明，使用wav2vec和BERT预训练特征进行连续情感识别，CCC值达到0.825，而传统MFCC和word2vec仅为0.592。这证明预训练模型能更有效地提取音频和文本中的情感信息，为连续情感识别任务提供了更优的特征表示。
半监督学习解决数据稀缺问题
文章提出半监督学习技术，为未标记面部数据生成表情类别伪标签，以解决有限FER数据集的泛化问题。采用均匀抽样和去偏反馈学习策略应对类别不平衡和数据偏差，并引入时间编码器捕捉静态图像间的时间关系，在第6届ABAW竞赛中取得优秀成绩。
Q&A
在情感行为分析竞赛中，提出了什么样的学习方法？
提出了一种多任务学习方法，利用面部和背景信息进行情感分类和评估。
EfficientNet模型在情感分析中有什么优势？
EfficientNet模型在实时视频情感分析中表现优异，超越了VggFace基线。
Transformer架构如何提升情感识别的效果？
Transformer架构能够在模态缺失的情况下识别情绪，提升对弱显著输入的学习效果。
研究中如何解决有限FER数据集的泛化能力问题？
通过半监督学习技术生成未标记面部数据的表情类别伪标签，并采用均匀抽样和去偏反馈学习策略。
在情感反应强度评估方面，提出的方法表现如何？
提出的方法在情感反应强度评估方面超越了基线方法84%，在验证数据集上取得了优秀结果。
音频和文本的预训练特征提取方法有什么效果？
使用wav2vec和BERT联合进行特征提取，在连续情感识别任务中表现非常合适，CCC值达到0.825。
