针对目标转移场景下的视觉 - 语言模型生成高效对抗样本的扩散模型
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文提出了AdvDiffVLM方法,改善传统的迁移攻击方法。该方法利用扩散模型和自适应集成梯度估计,提高了传统方法的缺陷,并通过GradCAM-guided Mask方法提高了样本质量。实验结果显示,AdvDiffVLM方法速度快且对抗样本质量高,具有强大的迁移性和抗性。成功攻击了GPT-4V等大型视觉语言模型。
🎯
关键要点
-
AdvDiffVLM方法改善了传统的迁移攻击方法。
-
该方法利用扩散模型和自适应集成梯度估计,解决了传统方法的缺陷。
-
通过GradCAM-guided Mask方法提高了样本质量。
-
实验结果显示,AdvDiffVLM方法速度比现有方法快10至30倍。
-
保持了超强的对抗样本质量,具有强大的迁移性和抗性。
-
成功攻击了包括GPT-4V在内的大型视觉语言模型。
➡️