再审视视觉语言模型的对抗鲁棒性：一种多模态的观点
内容提要
本研究针对视觉-语言预训练模型的鲁棒性问题，提出了协作多模态对抗攻击和CMI-Attack等新型攻击方法，显著提高了攻击成功率。研究强调模态交互在增强对抗鲁棒性中的重要性，并呼吁对视觉-语言模型的安全性进行更全面的评估。
延伸解读
攻击与防御的演进脉络
文章按时间顺序梳理了视觉语言模型对抗鲁棒性研究的重要节点：从2022年Co-Attack提出协作多模态攻击，到2023年黑盒查询评估、VLAttack框架、RoCLIP防御，再到2024年CMI-Attack和AdvPT等新方法。这一脉络显示，攻击与防御在相互推动中不断升级，模态交互逐渐成为双方共同关注的核心机制。
模态交互的双刃剑效应
CMI-Attack利用模态交互机制增强攻击的转移性，而RoCLIP和Mango等方法则通过改进预训练或嵌入空间学习来提升鲁棒性。这表明模态间的交互既能被攻击者利用来放大扰动效果，也能被防御者用来增强模型的一致性。理解这种双重作用，是设计更安全视觉语言模型的关键。
评估盲点与部署风险
研究指出，黑盒查询可以进一步提高定向逃避的效果，而VLAttack框架则揭示了预训练视觉语言模型部署中的一个重要盲点。这些发现提醒我们，仅依赖白盒或单一任务的评估可能低估实际风险。在将模型投入真实场景前，需要更全面地考虑跨任务、跨模型的对抗脆弱性。
鲁棒性提升的可行路径
文章介绍了多种提升鲁棒性的思路：修改损失函数限制softmax输出、引入对抗提示微调、在嵌入空间学习多模态噪声生成器，以及无监督对抗微调CLIP视觉编码器。这些方法在不同层面增强了模型抵御常见攻击的能力，但后续研究仍需探索输出多样性、泛化性以及鲁棒性与性能之间的权衡。
Q&A
什么是协作多模态对抗攻击（Co-Attack）？
协作多模态对抗攻击是一种新型攻击方法，旨在提高视觉-语言预训练模型的攻击性能，特别是在不同视觉-语言下游任务中。
CMI-Attack方法如何提高视觉-语言模型的鲁棒性？
CMI-Attack通过模态交互机制，增强文本和图像的扰动约束，从而提高多种视觉-语言模型的转移成功率。
VLAttack框架的主要功能是什么？
VLAttack框架通过融合单模态和多模态扰动生成对抗样本，显示出在各项任务上的高攻击成功率。
RoCLIP方法是如何降低后门攻击成功率的？
RoCLIP方法通过与随机示例比较，断开损坏图像-字幕对之间的关联，从而有效降低目标数据污染和后门攻击成功率。
Adversarial Prompt Tuning技术的目的是什么？
Adversarial Prompt Tuning技术旨在提升视觉-语言模型中图像编码器的对抗性鲁棒性，改善其对抗攻击的脆弱性。
Mango方法如何提升视觉-语言模型的鲁棒性？
Mango方法在嵌入空间中学习多模态对抗性噪声生成器，从而显著提升预训练视觉-语言模型的鲁棒性。
