针对目标转移场景下的视觉 - 语言模型生成高效对抗样本的扩散模型

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文提出了AdvDiffVLM方法,改善传统的迁移攻击方法。该方法利用扩散模型和自适应集成梯度估计,提高了传统方法的缺陷,并通过GradCAM-guided Mask方法提高了样本质量。实验结果显示,AdvDiffVLM方法速度快且对抗样本质量高,具有强大的迁移性和抗性。成功攻击了GPT-4V等大型视觉语言模型。

🎯

关键要点

  • AdvDiffVLM方法改善了传统的迁移攻击方法。

  • 该方法利用扩散模型和自适应集成梯度估计,解决了传统方法的缺陷。

  • 通过GradCAM-guided Mask方法提高了样本质量。

  • 实验结果显示,AdvDiffVLM方法速度比现有方法快10至30倍。

  • 保持了超强的对抗样本质量,具有强大的迁移性和抗性。

  • 成功攻击了包括GPT-4V在内的大型视觉语言模型。

➡️

继续阅读