BriefGPT - AI 论文速递
·
Heterogeneous Bimodal Attention Fusion for Speech Emotion Recognition
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种异构双模态注意力融合框架（HBAF），旨在解决多模态情感识别中的模态差距问题。通过引入上下文信息和动态双模态注意力，HBAF提高了音频与文本的融合效率和交互能力。实验结果表明，该方法在MELD和IEMOCAP数据集上优于现有基线。
🎯
关键要点
- 本研究提出了一种异构双模态注意力融合框架（HBAF），旨在解决多模态情感识别中的模态差距问题。
- HBAF通过引入上下文信息改善音频与文本之间的融合效率。
- 该框架利用动态双模态注意力和对比学习模块提升音频与文本模态间的交互能力。
- 实验结果表明，HBAF在MELD和IEMOCAP数据集上优于现有基线。
➡️
