基于提示的对比学习的可转移对抗攻击
内容提要
本文提出了一种基于多模态提示学习的方法，利用预训练的CLIP模型增强图像和文本特征的对齐度，从而提高对抗性攻击的鲁棒性。研究表明，该方法在多个数据集上表现优于现有攻击策略，具有更好的转移性和防御能力。此外，CLIP-Adapter和DCP方法在视觉分类和少样本学习中表现出色。
延伸解读
方法核心：互模态优化与迭代训练
文章提出在互模态优化方案中生成对抗性攻击，利用预训练CLIP模型分别进行视觉攻击和文本防御，并通过迭代训练策略实现攻击的转移性。这一设计旨在让对抗样本不仅能欺骗白盒模型，还能迁移到未知模型，从而提升攻击的实用价值。
评估表现：多数据集验证与即插即用
该方法在多个基准数据集上得到验证，表明互模态攻击策略能有效产生高可转移攻击，并优于最先进的攻击方法。同时，它可作为即插即用解决方案，意味着无需大幅修改现有流程即可集成，为对抗攻击研究提供了便捷的增强手段。
相关进展：从AdvCLIP到DCP的多样化探索
文章提及多项相关工作：AdvCLIP构建通用对抗例子欺骗下游任务；AD-CLIP通过提示空间提取风格和内容解决域适应；AdvPT提升图像编码器鲁棒性；CLIP-Adapter加入新特征层优化视觉分类；DCP实现视觉语言灵活交互，在少样本学习和域适应上表现突出。这些工作共同推动了多模态提示学习的发展。
Q&A
什么是基于多模态提示学习的方法？
基于多模态提示学习的方法利用预训练的CLIP模型来增强图像和文本特征的对齐度，从而提高对抗性攻击的鲁棒性。
该方法在对抗性攻击中有什么优势？
该方法在多个基准数据集上表现优于现有攻击策略，具有更好的转移性和防御能力。
AdvCLIP的作用是什么？
AdvCLIP用于构建通用的对抗例子，能够欺骗下游任务，支持跨模态图像文本检索和图像分类等复杂任务。
AD-CLIP如何解决图像领域适应问题？
AD-CLIP通过在prompt空间中提取图像风格和内容信息，采用有监督对比学习和最小熵策略来对齐源领域和目标领域。
CLIP-Adapter的创新之处是什么？
CLIP-Adapter通过在原训练模型上加入新特征层并进行残差式混合，提升了视觉分类任务的表现。
DCP方法在少样本学习中表现如何？
DCP方法在11个图像分类数据集上表现出超凡的少样本泛化性能和良好的域适应能力。
