BriefGPT - AI 论文速递
·
DocMSU: 文档级多模态讽刺理解的综合性基准
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
该研究使用MUStARD++数据集进行多模态严格基准测试，利用最先进的编码器改善了2％的宏平均F1值。通过MUStARD++平衡的扩展解决了数据集中`sarcasm type`类别的不平衡问题，进一步提升了2.4％的宏平均F1值。新的片段来自电视节目House MD，由多名注释者进行了手动注释，注释者一致性显著。代码、扩展数据和SOTA基准模型已公开。
🎯
关键要点
-
使用MUStARD++数据集进行多模态严格基准测试。
-
利用最先进的语言、语音和视觉编码器，改善了2%的宏平均F1值。
-
提出MUStARD++平衡的扩展，解决了数据集中'sarcasm type'类别的不平衡问题。
-
通过扩展中的实例分布，进一步提升了2.4%的宏平均F1值。
-
新的片段来自电视节目House MD，丰富了数据集的多样性。
-
注释由多名注释者进行，且一致性显著。
-
代码、扩展数据和SOTA基准模型已公开。
➡️
