对齐先于关注：为多模态仇恨内容检测对齐视觉和文字特征
内容提要
该文综述多模态恶意言论检测研究，涵盖模因、视频等载体。研究者提出集成学习、图像字幕融合、目标实体解缠等框架，结合音频与文本特征提升检测性能，并构建MMHS150K、HSDVD等公开数据集，推动仇恨言论识别发展。
延伸解读
多模态检测的演进脉络
从2019年的MMHS150K数据集开始，多模态仇恨内容检测经历了从简单拼接文本与图像，到引入图像字幕、目标实体解缠、音频情感特征等复杂融合方法的演进。2020年Facebook挑战赛推动了集成学习与字幕流程的应用，2021年DisMultiHate提升了可解释性，2022年HSDVD将音频纳入检测，2024年Transformer与注意力融合层进一步提高了性能。这一脉络显示，多模态信息的有效对齐与融合是提升检测效果的关键。
数据集与评估基准的推动
文章提及了多个公开数据集：MMHS150K（2019年，Twitter）、HSDVD（2022年，视频）以及孟加拉语跨媒体数据集（2022年）。这些数据集为多模态仇恨言论检测提供了训练和评估基准，覆盖了模因、视频和跨语言场景。MMHS150K的构建者指出，当时多模态模型未能超越纯文本模型，这一发现促使后续研究更注重模态间的互补与对齐，而非简单叠加。
技术融合的多样尝试
研究者尝试了多种技术路线：交叉验证集成学习、图像字幕融合、目标实体解缠、音频与文本特征结合、Transformer与Attentive Fusion层等。这些方法旨在解决模态间语义鸿沟和混淆问题。例如，DisMultiHate通过解缠目标实体提高可解释性；音频情感特征的引入在HSDVD上提升了性能；2024年的方法在特定任务上达到0.927宏F1。这些尝试表明，针对不同载体和场景，需要定制化的融合策略。
现存挑战与未来方向
尽管取得进展，文章隐含了若干挑战：多模态模型在MMHS150K上未能超越纯文本模型，说明视觉信息利用不充分；跨语言（如孟加拉语）检测依赖多语言模型，但性能仍有提升空间；可解释性虽在DisMultiHate中有所改善，但整体上仍是难点。未来研究需进一步探索模态对齐、数据偏差和模型泛化能力，以应对不断演变的仇恨内容形式。
Q&A
多模态仇恨内容检测主要针对哪些形式的恶意言论？
主要针对采用模因（Memes）表达的恶意言论，同时也涵盖视频等多媒体形式中的暴力辱骂和冒犯性言论。
有哪些公开的多模态仇恨言论数据集可用于研究？
公开数据集包括MMHS150K（从Twitter收集的大规模数据集）和HSDVD（有害言论检测视频数据集），此外还有针对5000个多模态内容样本的高质量注释语料库。
DisMultiHate框架是如何提升多模态模因中仇恨内容检测的？
DisMultiHate通过对目标实体进行解缠，提高了多模式模因中仇恨内容的分类性能和可解释性，实验表明它能胜过单一模态和多模态基线。
结合音频特征对检测有害多媒体内容有什么帮助？
结合表达情感的音频特征与语义特征可以明显提高系统检测有害多媒体内容的性能，例如在识别宣扬仇恨的言论时，采用Transformer和Attentive Fusion层的方法取得了0.927的宏F1得分，超过了此前最先进的技术。
目前多模态模型在仇恨言论检测上能否超越纯文本模型？
根据MMHS150K数据集的研究，尽管图像对仇恨言论检测任务有用，但目前的多模态模型仍无法超越仅分析文本的模型。
在孟加拉语跨媒体互动中，哪种模型检测恶意言论的效果最好？
在孟加拉语跨媒体互动检测中，XLM-RoBERTa+DenseNet-161模型的F1得分最高，为0.83。
