再审视视觉语言模型的对抗鲁棒性：一种多模态的观点
原文中文，约300字，阅读约需1分钟。发表于：。通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，我们引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，以提高 CLIP 的对抗性鲁棒性。在 15 个数据集上进行的广泛实验表明，我们的方法显著提高了 CLIP 的对抗性鲁棒性，甚至在图像攻击的背景下，经过多模态对抗性攻击的模型表现出比仅进行图像攻击微调的模型更高的鲁棒性。
通过研究视觉语言模型（VLMs）的自适应对抗性鲁棒性，引入了一种多模态对抗性攻击策略，并在图像和文本编码器上采用多模态对比对抗性训练损失，提高CLIP的对抗性鲁棒性。实验证明，该方法显著提高了CLIP的对抗性鲁棒性，甚至比仅进行图像攻击微调的模型更高的鲁棒性。
