关于单模型和视觉语言预训练模型之间对抗漏洞的统一理解
内容提要
本文研究了视觉语言预训练模型（VLP）的对抗性，提出了集合级引导攻击（SGA）和协作多模态对抗攻击（Co-Attack）等新型攻击方法，显著提高了攻击成功率。实验结果表明，模态交互在增强对抗鲁棒性方面至关重要，揭示了VLP模型的脆弱性及其在实际应用中的安全隐患。
延伸解读
跨模态交互：攻击与防御的共同关键
文章指出，现有对抗攻击迁移性低的部分原因是跨模态交互利用不足。SGA、CMI-Attack等方法通过增强模态交互，显著提升了攻击成功率。同时，多模态对抗训练也能提升CLIP的鲁棒性。这表明模态交互既是攻击的突破口，也是防御的着力点，未来研究需更深入理解其机制。
攻击迁移性提升带来的实际威胁
SGA将ALBEF到TCL的迁移攻击成功率提升至少9.78%，最高30.21%；CMI-Attack在图像-文本检索任务中提升8.11%-16.75%。这种迁移性意味着攻击者无需访问目标模型内部参数，即可生成有效对抗样本，对实际部署的VLP模型构成严重威胁，尤其在黑盒场景下。
多模态大模型的安全盲点
针对MiniGPT-4的通用攻击策略成功率达到96%，表明大型视觉语言模型存在严重脆弱性。文章还发现黑盒查询可提高定向逃避效果。这些结果提示，当前对齐策略可能不足以应对多模态对抗攻击，部署前需进行更全面的安全评估。
鲁棒性评估与防御启示
文章通过15个数据集的实验表明，多模态对抗训练能显著提升CLIP的鲁棒性，甚至优于仅图像攻击微调。这提示防御应同时考虑图像和文本模态的扰动，并利用模态交互设计更有效的对抗训练策略，以应对不断演进的攻击方法。
Q&A
什么是集合级引导攻击（SGA）？
集合级引导攻击（SGA）是一种新型攻击方法，利用模态交互来生成强力的对抗性示例，显著提高了视觉语言预训练模型的攻击成功率。
VLP模型的脆弱性主要表现在哪些方面？
VLP模型的脆弱性主要体现在对新型通用对抗扰动（UAP）攻击的敏感性以及在多模态任务中的攻击性能不足。
如何提高视觉语言模型的对抗性鲁棒性？
可以通过引入多模态对抗性攻击策略和模态交互机制来提高视觉语言模型的对抗性鲁棒性。
协作多模态对抗攻击（Co-Attack）有什么特点？
协作多模态对抗攻击（Co-Attack）是一种新型攻击方法，旨在提高对不同视觉语言下游任务和VLP模型的攻击性能。
CMI-Attack方法的优势是什么？
CMI-Attack方法利用模态交互机制增强对抗攻击效果，在图像-文本检索任务中提高了转移成功率。
研究发现黑盒查询对VLP模型有什么影响？
研究发现黑盒查询可以提高VLP模型的定向逃避效果，揭示了其潜在的安全漏洞。
