多模态模型中的稀疏对整齐的对抗像素扰动：实证分析
原文中文，约300字，阅读约需1分钟。发表于：。评估多模态模型对抗性示例的鲁棒性是其用户安全性的重要方面，我们通过 L0 范数扰动攻击预处理的输入图像，在黑盒设置下针对四个多模态模型和两个单模态 DNN 进行针对性和非针对性误分类。我们对受扰动图像面积目标小于 0.04％的攻击，考虑不同稀疏和连续像素分布扰动的空间位置，得出的结果表明单模态 DNN 比多模态模型更具鲁棒性，使用 CNN-based 图像编码器的模型比使用 ViT...
本文介绍了一种通过截断幂迭代提供隐层雅可比矩阵的方法，用于进行稀疏通用白盒对抗攻击。该方法在ImageNet验证子集上取得了超过50%的欺骗率，与稠密基线可比。同时，该方法允许更高的攻击强度而不影响人类解决任务的能力，并具有很高的扰动可转移性。这些发现凸显了开发强大的机器学习系统的重要性。
