LastResort 在 SemEval-2024 任务 3 中:将多模态情感因果对提取作为序列标注任务探索
原文中文,约400字,阅读约需1分钟。发表于: 。提出了一种基于句子标签和序列标签问题的模型,通过对话中涉及的多个模态(文本、音频和视觉模态)的独立话语以及导致情绪的相应话语来解决多模态情绪原因分析任务,并对使用不同编码器(包括 BiLSTM)的基准线进行了比较研究,并最终添加了 CRF 层以更有效地建模相邻话语之间的相互依赖关系,其在任务的官方排行榜上排名第 8,F1 得分为 0.1759。
本论文介绍了为SemEval-2024任务3开发的多模态情绪原因分析系统,通过集成文本、音频和视频等多种模态来捕捉人际对话中的情绪。系统采用Llama 2模型和GPT-4V、GPT 3.5进行情绪和原因预测、基于对话的视频描述和上下文学习。在比赛中获得第四名,实验证明该解决方案性能显著提升。