一个提示词足以提升预训练视觉语言模型的对抗鲁棒性
内容提要
该文综述视觉-语言模型对抗鲁棒性研究，涵盖多种方法：AdvPT提升图像编码器鲁棒性；文本增强实现CLIP免重训稳健增强；MVP通过改进输入提升对抗稳健性；Approximated Prompt Tuning降低计算复杂度；提示对抗攻击与训练；视觉提示适应下游任务；评估开源模型脆弱性；发现提示调整可抗标签噪声；多尺度特征提示应对分布偏移。
延伸解读
提示调优成为对抗鲁棒性的新路径
文章汇总的多项研究表明，提示调优不仅能适配下游任务，还能提升视觉-语言模型的对抗鲁棒性。例如AdvPT直接增强图像编码器，文本增强方法让CLIP无需重训即获稳健性，MVP通过修改输入而非模型在分类数据集上超越标准方法。这些工作共同指向一个趋势：利用提示作为轻量级干预手段，可能比传统对抗训练更高效。
效率与鲁棒性的权衡
Approximated Prompt Tuning通过避免昂贵的全局注意力建模来降低计算复杂度，而视觉提示适应方法在12个分类数据集上达到82.8%的平均准确率。这些结果说明，提示调优可以在不牺牲过多性能的前提下提升效率。但文章也指出，MLP易受对抗扰动影响，源于预训练与微调任务不匹配及参数随机初始化，提示调优需注意此类结构缺陷。
开源模型脆弱性与部署警示
文章提到对开源大型视觉-语言模型的评估发现，黑盒查询能进一步提高定向逃避效果，量化了其对抗脆弱性。这提示实际部署前需更全面研究潜在安全漏洞。同时，提示调整对标签噪声表现出稳健性，多尺度特征提示能应对分布偏移，这些发现为构建更可靠的视觉-语言系统提供了方向，但攻击与防御的博弈仍在持续。
Q&A
AdvPT 技术是如何提升视觉-语言模型对抗鲁棒性的？
AdvPT 通过引入对抗性提示调优技术，提升图像编码器的对抗鲁棒性，改善对抗攻击的脆弱性，并结合现有基于图像处理的防御技术，进一步提高防御能力。
文本增强方法如何增强 CLIP 模型的稳健性？
文本增强方法不需要在对抗性示例上重新训练图像编码器，即可增强视觉-语言模型的稳健性，实验证明在各种数据集上对预训练 CLIP 模型的稳健性有显著改善。
MVP 方法在对抗鲁棒性上取得了什么效果？
MVP 通过修改输入而非模型来适应下游任务，在三个分类数据集上提高对抗鲁棒性，超过标准方法平均 8% 和对抗训练的最新防御技术 3.5%。
Approximated Prompt Tuning 如何降低计算复杂度？
Approximated Prompt Tuning 基于软提示令牌的独立信息扩散步骤，有效避免昂贵的全局关注建模，从而显著降低计算复杂度。
提示调整对标签噪声的鲁棒性如何？
通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中，并且这种提示调整过程对标签噪声非常稳健，具有鲁棒性。
多尺度特征提示如何应对分布偏移？
通过将多尺度图像特征集成到提示中，提出了一种对于分布偏移具有鲁棒性的提示学习方法，实验结果表明在多个基准测试数据集上的鲁棒性和性能有所提高。
