对齐先于关注:为多模态仇恨内容检测对齐视觉和文字特征

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文研究了多模态出版物中仇恨言论的检测问题,并提出了联合文本和视觉信息的模型。结果显示,多模态模型无法超越仅分析文本的模型。建议进一步研究该领域和数据集。

🎯

关键要点

  • 研究多模态出版物中仇恨言论的检测问题。
  • 从Twitter收集和注释了大规模数据集MMHS150K。
  • 提出不同的联合文本和视觉信息的模型进行比较。
  • 提供定量和定性结果,并分析任务的挑战。
  • 发现多模态模型无法超越仅分析文本的模型。
  • 讨论了原因,并建议进一步研究该领域和数据集。
➡️

继续阅读