PetKaz 参与 SemEval-2024 任务 3：利用 LLM 在对话中提取情绪 - 原因对进行情绪分类的创新
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了一种新颖的多模态情感识别框架，通过整合文本、音频和视觉模态，解决对话中的情感原因分析任务。采用两种方法进行情感和原因预测，在SemEval-2024任务中获得第四名，显示出显著的性能提升。
🔎
延伸解读
多模态融合在情感原因分析中的优势
文章提出的MER-MCE框架整合了文本、音频和视觉模态，利用模态特定特征增强情感理解和因果推断。在SemEval-2024任务3中，该框架在加权F1得分上排名第三，与第一名仅差0.0339分，与第二名差0.0025分，表明多模态融合能有效提升情感原因分析的性能。
两种预测方法的对比与选择
系统采用两种方法进行情感和原因预测：方法1对两个独立的Llama 2模型进行指令微调，分别用于情感和原因预测；方法2使用GPT-4V描述视频，并利用GPT-3.5进行上下文学习。两种方法各有侧重，最终系统在官方排行榜上获得第四名，消融实验证明了解决方案的有效性。
模型架构中的序列建模与依赖关系
在基线模型中，作者添加了CRF层以更有效地建模相邻话语之间的相互依赖关系，该模型在官方排行榜上排名第8，F1得分为0.1759。这表明在对话情感原因分析中，捕捉话语间的序列依赖对于提升性能具有重要作用。
❓
Q&A
PetKaz 在 SemEval-2024 任务中取得了什么成绩？
PetKaz 在 SemEval-2024 任务中获得了第四名，显示出显著的性能提升。
该研究提出了什么样的情感识别框架？
该研究提出了一种新颖的多模态情感识别和因果抽取框架，整合文本、音频和视觉模态。
研究中使用了哪些模型进行情感和原因预测？
研究中使用了 Llama 2 模型和 GPT-4V 模型进行情感和原因预测。
该框架是如何处理多模态数据的？
该框架通过整合文本、音频和视觉模态的专门情感编码器来处理多模态数据。
系统消融实验的结果如何？
系统消融实验表明，提出的解决方案实现了显著的性能提升。
该研究的创新点是什么？
该研究的创新点在于提出了基于句子标签和序列标签问题的模型，解决多模态情绪原因分析任务。
🏷️
