BriefGPT - AI 论文速递
·
追踪对话中的复杂线索：基于图结构和情感动态的多模态情感识别
💡
原文中文，约200字，阅读约需1分钟。
📝
内容提要
本文提出了基于图谱的多模态一致性和互补协同学习框架GS-MCC，通过构建多模态交互图、提取长程一致性和互补性信息，并构建自监督信号，以提高情感预测能力。实验证明GS-MCC架构的优越性。
🎯
关键要点
- 提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC。
- 使用滑动窗口构建多模态交互图。
- 利用高频和低频信息提取方法反映长程一致性和互补性信息。
- 通过对比学习构建自监督信号，提高信息对情感的反映能力。
- 将提取的信息输入 MLP 网络和 softmax 函数进行情感预测。
- 在两个基准数据集上的实验证明了 GS-MCC 架构的优越性。
➡️
