MMFakeBench: 用于 LVLM 的混合源多模态虚假信息检测基准
内容提要
本文介绍了多个虚假图像和假新闻检测基准的构建，包括FakeBench、FakeClass、FakeClue和FakeQA等数据集，旨在提升多模态模型在真实性检测方面的能力。研究表明，现有模型在识别虚假信息时表现中等，强调了对抗虚假信息的必要性，并提出了新方法以提高检测准确性。
延伸解读
多模态虚假信息检测的基准演进
文章梳理了从FakeBench到MCFEND等多个基准，显示该领域正从单一图像检测转向多源、多模态评估。FakeBench强调透明性和人类描述，FakeClass和FakeClue分别提供多样本和伪造线索，FakeQA则测试开放问答。这些基准共同推动模型在真实性检测上的细粒度能力，但当前模型表现仅中等，说明检测仍具挑战。
现有模型的检测能力与局限
实验表明，大型多模态模型在图像虚假检测上识别能力中等，虽具备初步解释和推理能力，但开放问答表现仅可接受。此外，对多模态事实检查的系统评估发现，开源模型存在强烈偏见且对提示敏感，而GPT-4V在识别恶意误导信息上表现优越。这提示实际部署需谨慎，并需针对偏见和鲁棒性进一步优化。
跨领域与多源检测的实践意义
FakeNewsGPT4结合视觉-语言模型与造假专有知识，在公共基准上表现优越，展示了领域知识增强的有效性。MCFEND作为中国首个多源虚假新闻检测基准，覆盖社交平台、消息应用和传统新闻机构，并经权威事实核查，为现实场景评估提供支持。这些工作强调，检测系统需适应多源异构数据，并关注跨领域泛化能力。
法律与电子证据场景的挑战
RMDM数据集针对法律背景下的电子信息验证，包含真实、错误、误导和恶意四类标签，初步测试显示模型性能因标签而异。研究指出，验证法律相关假新闻对语言模型仍很困难，需进一步研究以推进可靠AI模型用于潜在法律应用。这提醒我们，高 stakes 场景下检测需更高准确性和可解释性。
Q&A
FakeBench是什么，它的主要功能是什么？
FakeBench是首个透明的虚假图像检测基准，主要用于评估虚假图像的检测能力，包含带有人类语言描述的虚假图像。
FakeClass数据集包含哪些内容？
FakeClass数据集包含6000个多样化来源的虚假和真实图像，用于评估图像真实性的检测能力。
当前大型多模态模型在虚假信息检测方面的表现如何？
实验结果表明，当前大型多模态模型在图像虚假检测方面表现中等，具备初步的解释和推理能力。
MCFEND数据集的特点是什么？
MCFEND是中国首个多源虚假新闻检测基准数据集，包含来自多种社交平台和新闻机构的新闻，经过权威事实核查。
FakeNewsGPT4的优势是什么？
FakeNewsGPT4结合大规模视觉-语言模型与造假专有知识，检测多模态假新闻，表现优越。
研究中提到的MMT-Bench是什么？
MMT-Bench是一个综合性评估基准，旨在评估大规模视觉-语言模型在多种跨领域任务上的能力。
