站在巨人的肩膀上：重编视觉-语言模型进行通用深度伪造检测
内容提要
本文介绍了一种名为DeepFake-Adapter的高效深度伪造检测模型，结合视觉-语言模型和适应技术，显著提高了检测准确性。同时，研究提出了深度伪造数据库DFLIP-3K，包含多样化样本，促进相关研究。通过自监督学习和新方法Prompt2Guard，提升了检测的鲁棒性和泛化能力，展示了在深度伪造环境中的应用潜力。
延伸解读
参数高效适配：降低深度伪造检测的算力门槛
DeepFake-Adapter 采用适配器模块，在预训练 Vision Transformer 的 MLP 层旁插入全局感知的 Englobed Adapters 和局部感知的空间 Adapter，从而以参数高效的方式融合高级语义与低层伪造痕迹。这种方法避免了全模型微调的巨大计算开销，为资源有限的研究者提供了可行路径，同时保持了检测准确性和泛化能力。
DFLIP-3K 数据库：推动深度伪造检测的多模态研究
DFLIP-3K 包含约 300K 个来自 3K 个生成模型的多样化深度伪造样本，并收集了约 190K 个样本的语言特征。该数据库不仅支持传统的视觉检测，还促进了语言建模、模型识别和提示预测等跨模态研究，为开发更鲁棒的检测方法提供了丰富的数据基础。
Prompt2Guard：无样本持续学习下的检测新思路
Prompt2Guard 利用视觉-语言模型和领域特定的多模态提示，在无样本持续深度伪造检测中提升了效率和准确性，并在 CDDB-Hard 基准上取得新的最先进成果。该方法针对生成环境快速演变的问题，通过提示学习适应新伪造类型，为持续学习场景提供了潜在解决方案。
Q&A
DeepFake-Adapter模型的主要功能是什么？
DeepFake-Adapter模型通过适配器模块从大型预训练Vision Transformers中提取高级语义，以提高深度伪造检测的准确性和泛化能力。
DFLIP-3K数据库包含哪些内容？
DFLIP-3K数据库包含约300K个多样化的深度伪造样本，旨在促进深度伪造检测的相关研究。
如何提高深度伪造检测的鲁棒性？
通过自监督学习和新方法Prompt2Guard，可以提升深度伪造检测的鲁棒性和泛化能力。
DeepFake-Adapter在测试中表现如何？
DeepFake-Adapter在多个数据集的测试中展现了良好的适用性，尤其在对抗各种生成模型时表现出更好的泛化能力。
Prompt2Guard方法的创新之处是什么？
Prompt2Guard方法通过利用视觉-语言模型和领域特定的多模态提示，在无样本持续深度伪造检测中实现了效率和准确性的提升。
DeepFake-Adapter如何结合视觉-语言模型？
DeepFake-Adapter利用视觉-语言模型将深度伪造检测问题转化为视觉问题回答，从而显著提高检测准确性。
