视觉语言预训练模型的普适对抗扰动
内容提要
本文探讨了深度网络对抗扰动攻击的多种方法，包括生成无关对抗扰动（UAPs）和新型攻击策略。研究表明，通过优化损失函数和利用模态交互，可以显著提高对抗攻击的成功率，并在多个数据集上验证了这些方法的有效性。
延伸解读
跨模态交互成为攻击关键
文章指出，现有对抗攻击方法在视觉语言预训练模型上的传递性较低，主要原因是跨模态交互利用不足。SA-Attack和SGA等方法通过增强跨模态交互和数据多样性，显著提升了攻击成功率。这表明，未来针对VLP模型的攻击研究需更关注模态间的协同效应，而非单一模态的扰动。
数据无关攻击的实用价值
文章提到一种无需原始训练数据即可计算UAPs的框架，并在文本分类任务中取得竞争性检测性能。这种数据无关特性降低了攻击对训练数据的依赖，使其更易在实际场景中部署，同时也对防御方提出了新挑战，因为传统基于数据分布的防御可能失效。
攻击从分类向检索扩展
文章首次尝试针对图像检索系统生成反检索通用对抗扰动，通过降低mAP等指标破坏特征邻域关系，并在Google Images上验证了实际潜力。这显示对抗攻击正从分类任务向更复杂的检索任务延伸，可能影响视觉搜索等应用的安全性。
防御需关注传递性威胁
文章综述了UAPs在图像分类中的进展，将其分为噪声攻击和生成器攻击，并评估了不同损失函数的效果。其中，高传递性攻击如SGA能跨模型生效，比现有技术提高至少9.78%的成功率。这提示防御方需设计能抵御传递性攻击的鲁棒模型，而非仅针对特定模型。
Q&A
什么是无关对抗扰动（UAPs）？
无关对抗扰动（UAPs）是一种针对深度网络的攻击方法，旨在生成与特定图像无关的扰动，以欺骗模型的分类结果。
如何提高UAPs的传递性？
通过在源模型的第一层关注对抗能量的损失，可以显著提高UAPs的传递性。
SA-Attack方法的主要特点是什么？
SA-Attack是一种基于自我增强的转移攻击方法，旨在提高对不同视觉语言预训练模型的攻击成功率。
CD-UAP方法的创新之处是什么？
CD-UAP方法能够生成唯一的通用扰动，专门针对特定类组进行欺骗，而对其他类组影响有限。
本文对图像分类任务中的UAPs进行了哪些分类？
本文将图像分类任务中的UAPs分为噪声攻击和生成器攻击，并评估了不同损失函数的有效性。
如何评估通用对抗攻击的性能？
通用对抗攻击的性能可以通过在多个数据集上进行实验评估，包括使用mAP和mP @ 10等度量标准。
