对抗式学习的鲁棒音频深度伪造检测（CLAD）
内容提要
本文介绍了结合对比学习和深度学习的方法，以提高卷积神经网络在音频和图像伪造检测中的性能。研究表明，这种结合可以有效减轻背景偏差、增强模型鲁棒性，并在多个数据集上实现显著性能提升。
延伸解读
背景偏差的挑战与CLAD的应对
音频和图像伪造检测中，卷积神经网络容易依赖背景或纹理等虚假特征，导致在真实场景中泛化能力下降。CLAD通过对比学习惩罚与背景相关的特征，鼓励模型关注前景语义，从而减轻背景偏差。这一思路在Background Challenge数据集上得到验证，为提升检测鲁棒性提供了新方向。
持续学习在音频深度伪造检测中的应用
音频深度伪造检测面临不断演变的伪造手法，模型需持续学习新数据而不遗忘旧知识。RWM方法通过引入可训练的梯度修正方向，在音频深度伪造检测中优于其他方法，并减少灾难性遗忘。类似地，连续学习算法结合正则化约束，在跨数据集实验中显著提升性能，表明持续学习是应对动态威胁的有效策略。
预训练模型与适应策略的效能
预训练视觉-语言模型结合Prompt Tuning等适应方法，在通用深假检测中展现出高效性。仅使用20万张图像训练，便在mAP和准确率上超越先前方法5.01%和6.61%，且在21个数据集上验证了实际适用性。tinyCLAP则通过减少参数至原模型6%，在零样本分类性能仅下降不到5%的情况下，降低了计算复杂性，为资源受限场景提供了可行方案。
对比学习与对抗训练的鲁棒性增强
对比学习不仅能减轻背景偏差，还能与对抗训练结合，提升模型对对抗攻击的鲁棒性。在CIFAR-10数据集上，这种结合方法优于其他监督和自监督方法，同时保持高干净准确率。此外，基于自然语言监督的音频概念学习CLAP，通过对比学习实现零样本性能，无需类别标签训练，具有高灵活性和通用性，为多模态伪造检测开辟了新途径。
Q&A
CLAD方法的主要目的是什么？
CLAD方法旨在减轻卷积神经网络中的背景偏差问题，并鼓励对物体前景进行语义关注。
Radian Weight Modification (RWM)方法有什么优势？
RWM方法通过引入可训练的梯度修正方向，提高知识获取和减少遗忘，在音频深度伪造检测中表现优于其他方法。
tinyCLAP模型的特点是什么？
tinyCLAP模型通过减少数据和计算复杂性，保持高效性能，零样本分类性能仅降低不到5%。
如何提高模型对对抗攻击的鲁棒性？
通过将对比学习与对抗训练相结合，可以增强模型对对抗攻击的鲁棒性，同时保持高准确性。
CLAP方法在音频概念学习中有什么优势？
CLAP方法通过对比学习实现零样本性能，具有高灵活性和通用性，无需使用类别标签进行训练。
这篇文章提出了什么样的自动化检测方法？
文章提出了一种完全自动化的端到端虚假音频检测方法，使用wav2vec预训练模型，在ASVspoof 2019 LA数据集上取得了优异性能。
