利用多对多关系对抗视觉语言对抗性攻击
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文研究了视觉语言模型（VLMs）的对抗性鲁棒性，提出了多模态对抗攻击策略和新方法（如Co-Attack和CMI-Attack），显著提升了模型在图像和文本任务中的鲁棒性。实验结果表明，这些方法在多个数据集上表现优异，强调了模态交互在增强对抗鲁棒性中的重要性。
❓
Q&A
什么是视觉语言模型（VLMs）？
视觉语言模型（VLMs）是处理图像和文本的预训练模型，能够在视觉和语言任务中进行有效的交互和理解。
Co-Attack方法的主要作用是什么？
Co-Attack方法旨在提升对不同视觉-语言任务的攻击性能，通过协作多模态对抗攻击实现更好的效果。
CMI-Attack方法如何增强对抗鲁棒性？
CMI-Attack通过模态交互机制，利用嵌入指导和交互增强攻击文本的嵌入层，从而提高对抗鲁棒性。
OT-Attack方法的创新点是什么？
OT-Attack方法基于最优输运理论，旨在有效对抗过拟合问题，并提升对抗性可迁移性。
少样本对抗提示框架的优势是什么？
该框架在使用极少训练数据的情况下，能够显著提高对抗鲁棒性，达到与最先进的零样本对抗鲁棒性相匹配的水平。
SGA方法如何提高攻击成功率？
SGA方法通过模态交互生成强力传递的对抗性示例，显著提高了从ALBEF到TCL的传递攻击成功率。
🏷️
