利用多对多关系对抗视觉语言对抗性攻击
内容提要
本文研究了视觉语言模型（VLMs）的对抗性鲁棒性，提出了多模态对抗攻击策略和新方法（如Co-Attack和CMI-Attack），显著提升了模型在图像和文本任务中的鲁棒性。实验结果表明，这些方法在多个数据集上表现优异，强调了模态交互在增强对抗鲁棒性中的重要性。
延伸解读
多模态攻击的演进与核心思路
文章梳理了视觉语言模型对抗攻击的多项研究，从早期Co-Attack到最新的CMI-Attack、OT-Attack等，核心思路是利用图像和文本模态的交互来生成对抗样本。这些方法不再局限于单模态扰动，而是通过联合优化提升攻击在不同模型和任务间的迁移性，揭示了模态交互对增强对抗鲁棒性的关键作用。
防御策略的实用化进展
在防御方面，文章提到少样本对抗提示框架仅用1%训练数据就能达到与零样本对抗鲁棒性相当的水平，以及一种多功能防御模型，只需训练一个模型即可抵抗多种未知攻击，分类准确率平均提升至86%。这些进展表明，对抗鲁棒性研究正朝着低资源、通用化的实用方向迈进。
评估与迁移性的关键发现
实验显示，多模态对抗攻击在多个数据集上显著提高了攻击成功率，例如CMI-Attack在Flickr30K图像-文本检索任务中，对ALBEF、TCL等模型的转移成功率提升了8.11%至16.75%；SGA方法在ALBEF到TCL的传递攻击中成功率至少提高9.78%，最高达30.21%。这些数据强调了跨模态交互对提升攻击迁移性的重要性。
Q&A
什么是视觉语言模型（VLMs）？
视觉语言模型（VLMs）是处理图像和文本的预训练模型，能够在视觉和语言任务中进行有效的交互和理解。
Co-Attack方法的主要作用是什么？
Co-Attack方法旨在提升对不同视觉-语言任务的攻击性能，通过协作多模态对抗攻击实现更好的效果。
CMI-Attack方法如何增强对抗鲁棒性？
CMI-Attack通过模态交互机制，利用嵌入指导和交互增强攻击文本的嵌入层，从而提高对抗鲁棒性。
OT-Attack方法的创新点是什么？
OT-Attack方法基于最优输运理论，旨在有效对抗过拟合问题，并提升对抗性可迁移性。
少样本对抗提示框架的优势是什么？
该框架在使用极少训练数据的情况下，能够显著提高对抗鲁棒性，达到与最先进的零样本对抗鲁棒性相匹配的水平。
SGA方法如何提高攻击成功率？
SGA方法通过模态交互生成强力传递的对抗性示例，显著提高了从ALBEF到TCL的传递攻击成功率。
