BriefGPT - AI 论文速递
·
补丁足以：针对视觉语言预训练模型的自然对抗补丁
内容提要
本研究针对视觉-语言预训练模型的鲁棒性问题，提出了协作多模态对抗攻击和CMI-Attack等新型对抗攻击方法，显著提高了对不同模型的攻击成功率。研究表明模态交互在增强对抗鲁棒性方面的重要性，为视觉-语言模型的安全部署提供了新视角。
关键要点
-
本研究提出了协作多模态对抗攻击（Co-Attack）方法，旨在提高视觉-语言预训练模型的鲁棒性。
-
研究发现现有方法在对抗性传递性方面表现较低，部分原因是对跨模态交互的利用不足。
-
提出的集合级引导攻击（SGA）方法通过模态交互显著提高了对不同VLP模型的攻击成功率。
-
VLAttack框架结合单模态和多模态扰动，成功生成对抗样本，揭示了预训练模型部署中的重要盲点。
-
CMI-Attack方法利用模态交互机制，提升了图像-文本检索任务中的转移成功率。
-
研究表明模态交互在增强对抗鲁棒性方面的重要性，为视觉-语言模型的安全部署提供了新视角。
-
通过多模态对抗性示例的多样性扩展，改善了VLP模型的转移性。
-
SmoothVLM防御机制成功降低了视觉-语言模型中的补丁式对抗性提示注入的攻击率。
-
提出的Contrastive-training Perturbation Generator方法在多模态任务中展现出卓越的攻击性能。
-
联合多模态变换特征攻击（JMTFA）方法显著提高了对抗攻击成功率，揭示了文本模态对模型的影响。
延伸问答
什么是协作多模态对抗攻击（Co-Attack）？
协作多模态对抗攻击（Co-Attack）是一种新型攻击方法，旨在提高视觉-语言预训练模型的鲁棒性，增强对不同下游任务的攻击性能。
研究中提出的CMI-Attack方法有什么特点？
CMI-Attack利用模态交互机制，在保持语义不变的情况下，通过增强文本和图像的扰动约束，提高了图像-文本检索任务中的转移成功率。
如何提高视觉-语言预训练模型的对抗鲁棒性？
通过模态交互和多模态对抗性示例的多样性扩展，可以显著提高视觉-语言预训练模型的对抗鲁棒性。
SmoothVLM防御机制的作用是什么？
SmoothVLM防御机制旨在降低视觉-语言模型中的补丁式对抗性提示注入的攻击率，同时提高上下文恢复率。
集合级引导攻击（SGA）方法的优势是什么？
SGA方法通过充分利用模态交互，显著提高了对不同视觉-语言预训练模型的攻击成功率，提升了对抗性传递性。
联合多模态变换特征攻击（JMTFA）方法的主要贡献是什么？
JMTFA方法在白盒环境下同时针对视觉和文本模态引入对抗扰动，显著提高了对抗攻击的成功率，并揭示了文本模态对模型的影响。
