预训练模型引导的零样本对抗鲁棒性微调
内容提要
该文综述了CLIP视觉-语言预训练模型的多种改进方法：MAFT通过掩码感知微调缓解零样本分割的虚假阳性；RoCLIP用随机示例对比断开损坏图文对关联以提升鲁棒性；少样本微调在分布转变下优于纯视觉模型；零样本异常检测利用文本提示与价值关注机制定位异常；Tip-Adapter以键值缓存构建免训练适配器，高效提升少样本能力；此外还涉及对抗性微调、AdvCLIP对抗样本、AdvPT提示调优、APE自适应先验精细化及WiSE-FT权重平均等提升鲁棒性与性能的方法。
延伸解读
从分割到检测：CLIP零样本能力的不同增强路径
文章列举的MAFT和零样本异常检测都针对CLIP的零样本下游任务，但方法思路不同。MAFT通过改进编码器对掩码提议的敏感性来减少分割中的虚假阳性；异常检测则利用文本提示与全局图像表示的对应关系，并用价值关注机制提取局部标记进行定位。两者都说明，单纯依赖CLIP的原始对齐不够，需要针对任务特性设计额外的感知或提示机制。
少样本微调与免训练适配器的效率权衡
文章提到少样本CLIP微调在分布转变下优于纯视觉模型，而Tip-Adapter则提供免训练适配器，通过键值缓存高效提升少样本能力。这两条路线代表不同取舍：微调可能获得更好性能但需要训练成本，Tip-Adapter计算资源高效且无需训练。读者可据此根据数据量和算力条件选择合适方案，但文章未给出两者在相同设定下的直接对比。
鲁棒性提升的多层次手段：数据、微调与权重
RoCLIP通过随机示例断开损坏图文对关联来降低数据污染和后门攻击成功率；对抗性微调强制保留预训练特征以抵御攻击；WiSE-FT则对预训练模型和微调模型权重平均，在分布移位下提升准确性且不增加计算成本。这些方法分别从数据关联、训练过程和模型权重层面增强鲁棒性，表明鲁棒性并非单一技术可解决，需结合具体威胁模型选择。
Q&A
MAFT方法主要解决零样本分割中的什么问题？
MAFT通过使用Image-Proposals CLIP Encoder和相应的损失函数，改善预训练模型CLIP对不同掩码提议的敏感性，从而解决零样本分割任务中存在的虚假阳性问题。
RoCLIP如何提升CLIP模型的鲁棒性？
RoCLIP通过与一组随机示例进行比较，断开损坏图像-字幕对之间的关联，实现强化预训练和微调，从而降低目标数据污染和后门攻击的成功率，并提高模型性能。
少样本CLIP微调在分布转变下的表现如何？
实验证明，在训练数据供应的各个级别上，少样本CLIP微调在内部分布准确性和外部分布准确性方面均优于只有视觉的模型，为小样本学习应用采用基础模型提供了动机。
Tip-Adapter是如何实现高效少样本学习的？
Tip-Adapter利用键值缓存模型构建适配器，是一种免训练方法，能有效增强CLIP的适应能力，为少样本学习提供计算资源高效的选择，在11个数据集上表现突出。
AdvCLIP生成的对抗样本有什么特点？
AdvCLIP构建通用的对抗例子，可以欺骗继承了受害交叉模态预训练编码器的所有下游任务，实现跨模态图像文本检索和图像分类等复杂任务的非目标攻击。
WiSE-FT方法如何在不增加计算成本的情况下提升鲁棒性？
WiSE-FT通过对预训练模型和微调模型进行加权平均，简单有效地提高微调模型在分布移位下的鲁棒性，实现大幅度的准确性提升，且不增加额外计算成本。
