基于变换器的自适应跨模态融合网络用于多模态情感识别
📝
内容提要
本研究解决了多模态情感识别中跨模态融合方法存在的冗余特征与补充特征捕获不足的问题。通过设计自适应跨模态融合网络(TACFN),采用自注意力机制进行模态内特征选择,实现不同模态间的高效互动,显著提升了模型的性能,并在RAVDESS与IEMOCAP数据集上达到了最新的研究水平。
➡️
本研究解决了多模态情感识别中跨模态融合方法存在的冗余特征与补充特征捕获不足的问题。通过设计自适应跨模态融合网络(TACFN),采用自注意力机制进行模态内特征选择,实现不同模态间的高效互动,显著提升了模型的性能,并在RAVDESS与IEMOCAP数据集上达到了最新的研究水平。