FFAA：基于多模态大语言模型的可解释开放世界人脸伪造分析助手
内容提要
本文介绍了多个面部伪造检测数据集和算法的进展，包括ForgeryNet、FFIW-10K和OpenForensics，旨在提升深度伪造检测性能。研究提出了新框架和方法，如视觉语言人脸伪造检测（VLFFD）和适应性伪造感知Transformer（FA-ViT），并在多个基准测试中表现优越。此外，GenFace数据集和跨外观边缘学习（CAEL）检测器的设计也推动了该领域的发展。
延伸解读
数据集演进：从ForgeryNet到GenFace
文章梳理了面部伪造检测数据集的演进脉络。2021年的ForgeryNet以290万图片和22万视频成为当时最大公共数据集，支持图像与视频级的分类和定位任务。同年OpenForensics和FFIW-10K分别针对社交媒体伪造和多人脸场景。2024年的GenFace则利用扩散模型等先进生成器，提供更细粒度的操作标签，反映了伪造技术迭代对数据真实性和多样性的更高要求。
检测范式转变：从专用模型到多模态大语言模型
早期方法如FA-ViT、COMICS和CAEL专注于改进网络结构或学习策略，以提升跨数据集和跨操作性能。2023年的VLFFD引入视觉语言范式，尝试解决检测模型缺乏语义信息和解释性的问题。2024年，多模态大语言模型在面部攻击检测中展现出可解释性和多模态灵活推理的优势，标志着检测思路从单一判别向可解释分析演进。
技术趋势：跨域泛化与可解释性并重
文章提及的FA-ViT、CAEL和GenFace等工作均强调跨生成器、跨伪造和跨数据集评估，表明泛化能力是当前检测器的核心挑战。同时，VLFFD和基于多模态大语言模型的方法注重语义信息和可解释性，试图弥补传统模型决策不透明的缺陷。这种兼顾鲁棒性与可解释性的趋势，可能推动更可信的伪造分析工具落地。
Q&A
什么是ForgeryNet数据集，它包含哪些内容？
ForgeryNet是最大的公共面部伪造数据集，包含2.9百万张图片和221,247个视频，涉及图像伪造分类、空间伪造定位、视频伪造分类和时间伪造定位四个任务。
FFIW-10K数据集如何提升人脸伪造检测性能？
FFIW-10K数据集包含10000个高质量伪造视频，结合新算法提升了人脸伪造检测性能，并在基准测试中表现优秀。
视觉语言人脸伪造检测（VLFFD）是什么？
VLFFD是一种新范式，通过引入细粒度提示和粗细联合训练框架，解决检测模型缺乏语义信息的问题，并在多个基准测试中表现优越。
适应性伪造感知Transformer (FA-ViT)的工作原理是什么？
FA-ViT通过冻结预训练参数和引入特定组件来提高Deepfake检测性能，利用单域成对学习增强鲁棒性。
GenFace数据集的特点是什么？
GenFace数据集包含大量由先进生成器生成的伪造人脸，推动深度伪造检测的发展，并提供详细的操作方法标签。
跨外观边缘学习（CAEL）检测器的创新之处在哪里？
CAEL检测器用于捕获多粒度的外观和边缘全局表示，能够有效检测伪造痕迹，展现出较强的区分能力。
