Lipsum-FT：使用随机文本引导的零样本模型健壮微调
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文探讨了基础模型（如CLIP）在有限训练数据和分布转变下的小样本学习应用。提出了WiSE-FT和ViSFT等方法，通过微调和视觉联合学习提升模型的鲁棒性和准确性。研究表明，这些方法在多个基准数据集上表现优异，强调了改进零样本多模态模型鲁棒性的重要性。
❓
Q&A
什么是WiSE-FT方法，它如何提高模型的鲁棒性？
WiSE-FT方法通过对预先训练模型的加权平均来提高微调模型的鲁棒性，从而在分布移位下实现准确性提升。
ViSFT方法的主要特点是什么？
ViSFT方法是一种两阶段的视觉联合学习方法，旨在增强视觉基础模型的精细知识，能够在短时间内进行更新。
如何通过对比度调整方法提升零样本迁移能力？
对比度调整方法通过对比训练使图像和文本模型对齐，从而提升零样本迁移能力。
TeS方法如何缓解模型中的偏差问题？
TeS方法是一种基于文本监督的微调方法，旨在缓解预训练模型中的偏差问题，并在多个下游任务上验证了其有效性。
BITTERS框架的主要功能是什么？
BITTERS框架通过双向图像文本训练和精细调整，提高图像描述的精度。
PMG-AFT方法如何增强零样本对抗鲁棒性？
PMG-AFT方法通过设计辅助分支，利用原始预训练模型的监督来增强模型的零样本对抗鲁棒性。
🏷️
