通过去除欺骗扩散对欺骗噪声建模及其在人脸防欺骗中的应用
内容提要
该文综述面部反欺诈与扩散模型研究：利用图像处理和CNN分解虚假面部噪声以提升检测准确性；通过对抗学习分离欺骗痕迹与真实成分，增强对已知、未知及开放攻击的泛化；提出泛对象反欺骗框架合成噪声模式；发现单步去噪扩散可显著降低Deepfake检测器准确率且不易察觉；并将扩散模型用于音频合成、通用去噪及人体图像转换等任务。
延伸解读
扩散模型的双刃剑效应
文章指出，单步去噪扩散即可显著降低Deepfake检测器准确率且不引入明显视觉变化。这意味着扩散模型不仅可用于生成逼真内容，也可能被用于规避检测，且攻击成本较低。读者需注意，现有检测器在面对此类攻击时存在脆弱性，防御策略需考虑扩散过程带来的新挑战。
泛化检测的对抗学习思路
基于对抗学习的框架将面部欺骗分离为欺骗痕迹和真实成分，并在已知、未知和开放式攻击下均表现良好。这提示提升泛化能力的关键在于解耦欺骗特征而非仅依赖分类边界。该方法还通过修复组件和递进组件处理不同频带痕迹，为理解欺骗信号的频域分布提供了可解释视角。
噪声建模的跨场景迁移
文章提到泛对象反欺骗问题（GOAS）利用GAN合成不同传感器/介质组合的噪声模式，以及基于扩散模型的合成噪声方法用于数据稀缺场景。这表明噪声建模可跨对象和场景迁移，为训练数据不足时的反欺骗系统提供补充。但需注意，合成噪声与真实噪声的分布差异可能影响实际部署效果。
Q&A
有哪些方法可以对人脸欺骗噪声进行建模以提升检测准确性？
一种方法是通过图像处理和CNN架构对虚假面部噪声进行建模，反向分解虚假面部得到虚假噪声和真实面部，从而增强分类准确性并可视化虚假噪声。另一种是基于对抗学习的框架，将面部欺骗分离成欺骗痕迹和真实成分，使用三个附加递进组件和一个修复组件代表不同频带处的痕迹，在已知、未知和开放式攻击下均表现良好。
单步去噪扩散攻击对Deepfake检测器有什么影响？
研究表明，单个去噪扩散步骤可以显著降低所有经过测试的Deepfake检测器的准确性，并且不会引入明显的视觉变化，说明检测器对去噪扩散模型的攻击具有脆弱性。
泛对象反欺骗问题（GOAS）是什么？如何解决？
GOAS定义为首个泛对象反欺骗问题，旨在应对不同传感器/介质组合引入的噪声模式。研究提出了基于GAN的体系结构来合成和识别这些噪声模式，对材料规范的反欺骗有直接贡献。
扩散模型如何用于生成合成噪声以训练去噪模型？
研究提出一种基于扩散模型的合成逼真噪声的新方法，能为难以获得真实数据的情景提供大量高质量训练数据，并在多个基准测试上证明了其优越性。
基于扩散模型的音频合成模型有哪些改进和评估结果？
通过在扩散模型中引入扩散辨别器和频谱图辨别器两个辨别器，提出的音频合成模型在各项评估指标上均优于FastSpeech2和DiffGAN-TTS，评估使用了结构相似性指数、梅尔倒谱失真、F0均方根误差、短时客观可懂性、语音质量感知评估和主观平均意见得分等客观和主观度量。
PIDM人体图像扩散模型解决了什么问题？效果如何？
PIDM是一种基于去噪扩散模型的人体图像扩散模型，解决了复杂的人体图像转换问题，在两个大型基准测试中展示了显著结果，并展示了如何在下游任务中使用生成的图像。
