视觉语言模型的部分再集中软最大值损失函数鲁棒性
内容提要
本文综述视觉-语言预训练模型的对抗鲁棒性研究，涵盖Co-Attack、Mango、VLAttack等攻击与防御方法，发现多模态模型对图像和文本扰动普遍脆弱，黑盒查询可提升攻击效果，商业模型如Bard亦存在漏洞，呼吁部署前全面评估安全性。
延伸解读
多模态攻击为何更有效
文章指出，对多模态分类的攻击比仅对单模态文本或图像分类的攻击更强，且单模态图像攻击比文本字符增强攻击更有效。这提示视觉-语言模型在融合两种模态时可能引入新的脆弱点，攻击者只需扰动一个模态就可能影响整体判断，因此安全评估需覆盖跨模态组合场景。
黑盒攻击与商业模型风险
VLAttack框架表明，在黑盒微调模型上融合图像和文本扰动可达到最高攻击成功率，而针对Bard的研究也发现商业多模态大模型存在可被利用的防御机制漏洞。这意味着即使无法获取模型内部参数，攻击者仍可能通过查询接口实施有效攻击，部署前需进行黑盒安全测试。
上下文与查询分解的防御启示
研究发现，大型多模态模型对视觉对抗输入并不鲁棒，但提供上下文（如问答中的问题）可以降低对抗输入的影响。查询分解方法将存在性查询融入输入提示，观察到攻击效果减弱和分类准确性提高。这为增强多模态系统韧性提供了无需修改模型本身的实用思路。
嵌入空间攻击的隐蔽威胁
文章提到，在多模型系统中，针对对抗嵌入空间的攻击（尤其是使用预训练编码器时）可能导致上下文污染和隐藏提示注入，对系统行为产生重大影响。这类攻击不直接修改输入像素或文字，而是污染中间表示，因此在插拔式系统中需全面检查嵌入空间的安全性。
Q&A
视觉-语言预训练模型（VLP）容易受到哪些类型的对抗攻击？
VLP模型容易受到图像和文本扰动生成的对抗攻击，包括单模态和多模态层次的扰动，如Co-Attack、VLAttack等攻击方法。
有哪些方法可以提升视觉-语言预训练模型的对抗鲁棒性？
Mango方法通过在嵌入空间中学习多模态对抗性噪声生成器，显著提升了VLP模型的鲁棒性；对抗性融合策略也能提高单源鲁棒性，且不影响干净数据性能。
黑盒攻击对视觉-语言模型的效果如何？
黑盒查询可以进一步提高定向逃避的效果，VLAttack框架通过融合单模态和多模态层次的图像和文本扰动，在各项任务上攻击成功率最高。
商业多模态大型语言模型（如Bard）是否存在安全漏洞？
是的，对Google的Bard进行攻击的研究揭示了其脆弱性，发现了两种防御机制并提出了相应的攻击方法，表明商业MLLMs存在安全漏洞。
多模态模型对视觉对抗性输入的鲁棒性如何？提供上下文能否缓解攻击？
大型多模态模型对视觉对抗性输入并不具备鲁棒性，但提供上下文（如问答中的问题）可以降低视觉对抗性输入的影响。
对抗嵌入空间攻击在多模型系统中可能导致什么风险？
对抗嵌入空间攻击可能导致上下文污染和隐藏提示注入，对系统行为产生重大影响，因此在插拔式系统中应进行全面检查以确保安全性。
