Doubly-Universal Adversarial Perturbations: Deceiving Vision-Language Models with a Single Perturbation

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新型的双重通用对抗扰动(Doubly-UAP),旨在同时欺骗视觉-语言模型的图像和文本输入。该方法通过优化模型中的注意力机制,实现了高效的攻击成功率,并在多模态任务中展现出优越性能和强鲁棒性。

🎯

关键要点

  • 本研究提出了一种新型的双重通用对抗扰动(Doubly-UAP),旨在同时欺骗视觉-语言模型的图像和文本输入。
  • 该方法通过优化模型中的注意力机制,提升了攻击成功率。
  • 双重通用对抗扰动在多模态任务中展现出优越性能和强鲁棒性。
  • 视觉-语言模型在多模态任务中表现出色,但仍然容易受到对抗攻击的影响。
➡️

继续阅读