C2P-CLIP：在CLIP中注入类别公共提示以增强深伪检测的泛化能力
内容提要
本文提出了一种新框架，通过分离视觉信息解决深度伪造检测中的过拟合问题。研究开发了DeepFake-Adapter和DeepfakeBench基准测试，利用CLIP模型进行零样本异常检测，提升了检测准确性。此外，提出了Prompt2Guard和PoundNet方法，显著提高了深度伪造检测的效率和泛化能力。
延伸解读
从过拟合到泛化：核心问题与思路
文章指出，深度伪造检测常因针对特定伪造方法（如网络结构、训练数据）而陷入过拟合，导致泛化能力不足。为此，作者提出通过“分离”视觉信息来提取通用伪造特征，作为泛化的基础。这一思路旨在让模型不依赖特定伪造痕迹，而是学习更本质的异常模式，从而提升对未知伪造类型的检测能力。
技术路线：适配器与提示学习的结合
文章介绍了多种基于CLIP的改进方法。DeepFake-Adapter通过适配器模块从预训练ViT中提取高级语义，结合全局和局部感知，提升准确度与泛化性。Prompt2Guard利用视觉-语言模型和领域特定多模态提示，在无样本持续检测中实现效率与准确性提升。这些方法共同体现了参数高效调节和提示学习在深伪检测中的潜力。
评估基准与数据资源
为解决数据处理和评估标准不统一的问题，文章提出了DeepfakeBench基准测试，并构建了DFLIP-3K数据库，包含约300K个伪造样本和190K个语言特征。这些资源为语言建模、模型识别和提示预测等研究提供了统一平台，有助于推动领域内方法的公平比较和可复现性。
性能表现与泛化验证
文章报告了多项方法的性能提升。例如，Prompt Tuning策略仅用20万张训练图像，在mAP和准确率上超过先前方法5.01%和6.61%，并在21个不同数据集上验证了实际适用性。PoundNet在检测性能上比现有最先进方法提高19%，同时在物体分类任务中保持63%的高效表现，展示了知识保留和泛化能力的优势。
Q&A
C2P-CLIP框架的主要目标是什么？
C2P-CLIP框架旨在通过分离视觉信息来解决深度伪造检测中的过拟合问题，提升检测的泛化能力。
DeepFake-Adapter是如何提高深度伪造检测准确性的？
DeepFake-Adapter通过适配器模块从大型预训练Vision Transformers中提取高级语义，结合低级别伪造数据的降噪信息，从而提高检测准确性。
DeepfakeBench基准测试的目的是什么？
DeepfakeBench基准测试旨在统一深度伪造检测领域的数据处理流程和评估标准，促进研究的发展。
CLIP模型在深度伪造检测中有什么创新应用？
CLIP模型被用于零样本异常检测，通过生成文本嵌入来训练前馈神经网络，实现无类别异类检测的最新性能。
DFLIP-3K数据库的主要内容是什么？
DFLIP-3K数据库包含约300K个多样化的深度伪造样本，旨在促进深度伪造检测相关领域的研究。
PoundNet学习框架解决了什么问题？
PoundNet学习框架解决了深度伪造检测中的短期收益与长期有效性之间的矛盾，显著提高了检测性能和泛化能力。
