什么使一个梗成为一个梗？识别用于模因学感知数据集的梗
内容提要
本文比较了多种自动分类表情包图像的方法，提出了一种结合文本和图像的多模态分类技术，以识别网络谣言和恶意图片。研究表明，多模态模型的表现优于单模态模型，最佳模型的宏 F1 分数达到70.51。同时，探讨了知识图谱在迷因分类中的应用，以提高社交媒体上迷因的检测和分析效率。
延伸解读
多模态融合为何更有效
文章指出，在孟加拉 Memes 数据集上，结合文本和视觉信息的多模态模型优于单模态模型，最佳宏 F1 分数达到 70.51。这表明梗的语义往往同时依赖文字和图像，单独分析任一模态都可能遗漏关键信息。多模态方法能更全面地捕捉梗的意图，尤其在识别滥用内容时，文本与图像的互补性提升了分类性能。
知识图谱带来的结构化增益
文章探讨了使用场景图和知识图作为结构化表示来增强基于 Transformer 的模型，并与 ImgBERT 比较，发现自动生成的图能带来一致的性能提升，且在恶意分类上表现更好。知识图谱还能映射梗在不同平台的流行度，帮助用户获取背景信息。这说明结构化外部知识有助于模型理解梗的隐含意义和传播语境。
半监督学习与实时检测的探索
文章提到一种结合自动编码器和分类任务的多模态半监督学习方法，通过对比语言-图像预训练实现，在两个数据集上优于现有半监督和有监督模型。此外，基于聚类的无监督框架能实时检测社交数据流中的谣言，预聚类与异质特征组合效果最佳。这些方法降低了对大量标注数据的依赖，为动态环境下的梗检测提供了可行路径。
Q&A
多模态分类技术是如何工作的？
多模态分类技术结合了文本和图像信息，以识别网络谣言和恶意图片，表现优于单模态模型。
研究中提到的最佳模型的宏 F1 分数是多少？
最佳模型的宏 F1 分数达到了70.51。
知识图谱在迷因分类中有什么应用？
知识图谱用于提高社交媒体上迷因的检测和分析效率，帮助用户获得迷因的背景信息。
孟加拉 Memes 数据集的构建目的是什么？
孟加拉 Memes 数据集的构建旨在实现多种基准模型来对滥用 Memes 进行分类。
多模态半监督学习方法的优势是什么？
多模态半监督学习方法结合了自动编码器和分类任务，表现优于现有的多模态和有监督学习模型。
如何检测社交媒体上的恶意图片？
可以使用多模态半监督学习方法，通过对文本和图像的结合分析来检测社交媒体上的恶意图片。
