动态多模式及视角选择用于缺失模态的多模式情感识别
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文研究了缺失模态对自动音视频表情识别中 transformer 模型表现的影响。通过消融实验和知识传递网络，提升了模型的泛化性能和情感预测能力。实验结果表明，结合音频和文本信息的多模态模型在多个数据集上表现显著，尤其在 IEMOCAP 数据集上效果最佳。
🔎
延伸解读
缺失模态下的模型鲁棒性
文章指出，当音频或视觉等模态缺失时，Transformer 模型的表现会受到影响。通过随机消融训练数据的策略，模型学会了在模态不完整的情况下进行情感识别，从而提升了泛化能力。这对于实际应用中传感器故障或数据采集不全的场景具有参考价值。
知识传递与跨模态注意机制
针对缺失的音频模态，文章提出了一种知识传递网络，能够从其他模态重构缺失信息，并利用跨模态注意机制保留重构与观察模态的最大信息。这种方法在多个公开数据集上相比基线方法取得了显著改进，为处理模态缺失问题提供了新思路。
多模态融合在情感识别中的优势
实验表明，结合音频和文本信息的多模态模型在 IEMOCAP 数据集上取得了最佳表现，优于单模态基线。这验证了多模态融合在情感识别任务中的有效性，尤其是在情感预测能力方面，多模态模型能够更准确地捕捉复杂的情感交互。
❓
Q&A
缺失模态如何影响自动音视频表情识别的性能？
缺失模态会降低 transformer 模型在自动音视频表情识别中的表现，导致情感预测能力下降。
本文提出了什么新方法来处理缺失的音频模式？
本文提出了一种新颖的知识传递网络，通过跨模态注意机制重构缺失的音频模式。
在 IEMOCAP 数据集上，模型的表现如何？
在 IEMOCAP 数据集上，结合音频和文本信息的多模态模型表现最佳，取得了最新的最佳效果。
消融实验在研究中起到了什么作用？
消融实验用于提高模型的泛化性能，通过随机消融训练数据的策略来验证模型的有效性。
多模态模型在情感预测能力方面的改进如何？
实验结果表明，多模态模型在情感预测能力方面实现了显著的改进，尤其是在多个数据集上表现优异。
跨模态注意机制的作用是什么？
跨模态注意机制用于保留重构和观察到的模态之间的最大信息，从而提高情感预测的准确性。
🏷️
