本文研究了视觉语言模型(VLMs)的对抗性鲁棒性,提出了多模态对抗攻击策略和新方法(如Co-Attack和CMI-Attack),显著提升了模型在图像和文本任务中的鲁棒性。实验结果表明,这些方法在多个数据集上表现优异,强调了模态交互在增强对抗鲁棒性中的重要性。
本文综述视觉-语言预训练模型的对抗鲁棒性研究,涵盖Co-Attack、Mango、VLAttack等攻击与防御方法,发现多模态模型对图像和文本扰动普遍脆弱,黑盒查询可提升攻击效果,商业模型如Bard亦存在漏洞,呼吁部署前全面评估安全性。
完成下面两步后,将自动完成登录并继续当前操作。