Lipsum-FT：使用随机文本引导的零样本模型健壮微调
内容提要
本文探讨了基础模型（如CLIP）在有限训练数据和分布转变下的小样本学习应用。提出了WiSE-FT和ViSFT等方法，通过微调和视觉联合学习提升模型的鲁棒性和准确性。研究表明，这些方法在多个基准数据集上表现优异，强调了改进零样本多模态模型鲁棒性的重要性。
延伸解读
小样本微调中基础模型的优势
文章指出，在训练数据有限且存在分布转变时，传统迁移学习方法效果有限。而CLIP等基础模型展现出令人印象深刻的零样本推理能力和鲁棒性。实验证明，在训练数据供应的各个级别上，少样本CLIP微调在内部分布和外部分布准确性方面均优于仅视觉模型，这为在真实世界小样本学习应用中采用基础模型提供了有力依据。
提升鲁棒性的微调策略
为提升微调模型在分布偏移下的鲁棒性，文章介绍了WiSE-FT和ViSFT等方法。WiSE-FT通过对预训练模型进行加权平均，在不增加额外计算成本的情况下大幅提升准确性。ViSFT则通过两阶段视觉联合学习增强视觉基础模型的精细知识，在多个域外基准测试中取得改进。这些方法为小样本微调提供了实用方案。
零样本鲁棒性不足与改进方向
基于大规模鲁棒性基准测试，研究发现CLIP等零样本多模态模型在自然分布偏移和对抗攻击下鲁棒性明显不足。为此，文章提及多种改进方法：TeS通过文本监督微调缓解偏差，PMG-AFT通过对抗微调增强零样本对抗鲁棒性，平均提升4.99%的抗干扰准确性，同时干净准确性平均提高8.72%。
Q&A
什么是WiSE-FT方法，它如何提高模型的鲁棒性？
WiSE-FT方法通过对预先训练模型的加权平均来提高微调模型的鲁棒性，从而在分布移位下实现准确性提升。
ViSFT方法的主要特点是什么？
ViSFT方法是一种两阶段的视觉联合学习方法，旨在增强视觉基础模型的精细知识，能够在短时间内进行更新。
如何通过对比度调整方法提升零样本迁移能力？
对比度调整方法通过对比训练使图像和文本模型对齐，从而提升零样本迁移能力。
TeS方法如何缓解模型中的偏差问题？
TeS方法是一种基于文本监督的微调方法，旨在缓解预训练模型中的偏差问题，并在多个下游任务上验证了其有效性。
BITTERS框架的主要功能是什么？
BITTERS框架通过双向图像文本训练和精细调整，提高图像描述的精度。
PMG-AFT方法如何增强零样本对抗鲁棒性？
PMG-AFT方法通过设计辅助分支，利用原始预训练模型的监督来增强模型的零样本对抗鲁棒性。
