Delocate：随机定位篡改痕迹的 Deepfake 视频检测和定位
内容提要
该文综述深度伪造检测研究，涵盖视频、音频与图像，涉及Recap模型、时序定位、弱监督定位、局部感知自编码器、双流网络、Segment Anything Model及Vision Transformer等方法，以提升检测与定位精度。研究指出数据集过度扩充易致过拟合，面部切除增强可缓解。
延伸解读
检测与定位：从二分类到细粒度分析
文章综述的多个研究显示，Deepfake检测正从简单的真伪二分类转向细粒度的伪造定位。例如，时序深度伪造定位（TDL）方法针对部分伪造音频，能更准确地定位音频的真实性；FakeLocator则致力于在GAN合成图像中同时检测和定位伪造区域。这种转变意味着检测系统不仅能判断视频是否被篡改，还能指出篡改发生的位置，为取证和内容审核提供更具体的依据。
弱监督定位的可行性与鲁棒性
文章提到一项研究将Deepfake定位视为弱监督问题，使用基于解释、局部分数或注意机制的三种方法，并以Xception网络为共同骨干。通过构建仅一个组件变化的数据集，研究证明弱监督定位是可行的。基于局部分数的最佳检测方法对较松的监督比数据集或生成器的不匹配更不敏感，这表明在实际应用中，即使标注不精确，弱监督方法仍可能保持较好的性能。
数据增强与过拟合的应对
文章指出，Deepfake数据集过度扩充容易导致过拟合，而提出的面部切除数据增强方法能成功改善数据变化并缓解过拟合问题。这一发现提醒研究者和开发者，在构建检测模型时，不应盲目追求数据量的扩充，而应关注数据增强策略的质量和多样性，以提高模型在真实场景中的泛化能力。
新架构提升检测性能
文章综述了多种新架构在Deepfake检测中的应用。例如，基于Segment Anything Model的Detect Any Deepfakes（DADF）通过Reconstruction Guided Attention模块优化端到端的伪造检测和定位，在三个基准数据集上表现优秀。另一项研究利用Vision Transformer、Scaling and Shifting预训练以及Timeseries Transformer分割视频，实现视频帧的完整性检测。这些方法展示了Transformer和基础模型在提升检
Q&A
Deepfake视频检测中，Recap模型是如何工作的？
利用Recap模型的特定方法和过程，可以有效检测Deepfake视频并放大真伪之间的差异。
时序深度伪造定位（TDL）方法有什么特点？
TDL是一种细粒度部分伪造音频检测方法，采用嵌入相似度模块和时序卷积操作，能更准确地定位音频的真实性，并在ASVspoof2019部分伪造数据集中表现出优异性能。
弱监督定位在Deepfake检测中是否可行？
研究通过构建数据集（只有一个组件发生变化）证明了弱监督定位是可行的；基于局部分数的最佳检测方法对于较松的监督比对于数据集或生成器的不匹配更不敏感。
如何解决Deepfake检测中的泛化问题？
通过提出一种局部感知自编码器及主动学习框架，可以更准确地针对伪造区域进行判别，从而提高残缺的检测能力，为解决泛化问题提供了新途径。
双流网络在Deepfake检测中取得了哪些改进？
通过创新的双流网络、多功能模块和半监督补丁相似性学习策略，在深伪检测领域取得了显著改进，在六个基准测试中表现出较强的鲁棒性和普适性，并将帧级AUC从0.797提高至0.835，视频级AUC从0.811提高至0.847。
基于Segment Anything Model的DADF方法有什么优势？
DADF通过Reconstruction Guided Attention模块优化了端到端的伪造检测和定位，在三个基准数据集上都取得了优秀的表现。
Deepfake数据集过度扩充会导致什么问题？如何缓解？
Deepfake数据集过度扩充容易导致过度拟合，而提出的数据增强方法（面部切除）能够成功改善数据变化并缓解过度拟合问题。
