ECCV 2024 | 让GPT-4图像理解更易出错，全新策略增强VLP模型对抗迁移性
内容提要
该文章介绍了一种针对视觉-语言预训练模型的对抗攻击方法，通过引入对抗轨迹交集区域的概念，提升对抗样本的迁移性。实验结果显示该方法在跨模型和跨任务迁移性上都有显著提升。
延伸解读
对抗轨迹交集区域：提升迁移性的新思路
现有方法如SGA仅关注对抗样本周围的多样性，但对抗样本由代理模型生成，容易过拟合，导致迁移性差。本文提出利用干净样本、当前对抗样本和上一步对抗样本构成的交集区域，从中采样以增加扰动方向的多样性，并引入文本引导选择最佳样本。这种方法不仅考虑了对抗样本周围的多样性，还关注了干净样本周围的对抗多样性，从而提升了对抗样本的迁移性。
跨模型与跨任务迁移性显著提升
实验表明，在图像-文本检索任务中，该方法相比SGA在多个跨模型迁移性上提升了10%以上。此外，利用在ITR任务上预训练的ALBEF模型生成的对抗样本，能够有效攻击视觉定位和图像描述任务，展示了跨任务迁移性。可视化结果也显示，对抗样本使VLP模型在视觉定位和图像描述任务上出现严重错误，甚至对ChatGPT-4和Claude-3等大模型也产生了误导。
对闭源模型安全评估的意义
由于ChatGPT-4等商业模型闭源，直接攻击困难，迁移攻击成为评估其安全性的重要手段。本研究通过提升对抗样本的迁移性，有助于更有效地评估闭源模型的鲁棒性，发现潜在安全漏洞。同时，对抗样本在不同模型上的表现也可用于优化对抗训练，提升模型的抗攻击能力。未来方向包括更充分利用交集区域和提供理论解释。
Q&A
什么是对抗轨迹交集区域？
对抗轨迹交集区域是由干净样本、当前对抗样本和上一步对抗样本构成的三角形区域，用于提升对抗样本的迁移性。
该研究如何提升对抗样本的迁移性？
通过引入对抗轨迹交集区域的概念，考虑更广泛的多样性和扰动方向，从而提升对抗样本的迁移性。
对抗攻击对模型安全性有什么影响？
对抗攻击通过微小扰动诱使模型产生错误输出，可能导致预测准确性下降和严重的安全问题。
实验结果显示了什么？
实验结果表明，提出的方法在跨模型和跨任务的迁移性上均有显著提升，攻击成功率提高了10%以上。
未来的研究方向是什么？
未来研究将集中在更充分利用对抗攻击的交集区域和提供理论解释上。
SGA方法在目标模型上的攻击成功率如何？
SGA方法在目标模型上的攻击成功率较低，本研究旨在提高其迁移性。
