Lipsum-FT:使用随机文本引导的零样本模型健壮微调

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

介绍了Lipsum-FT鲁棒微调算法,利用语言建模特性提高零样本模型在分布变化场景中的性能,实验证明其优于现有方法。

🎯

关键要点

  • Lipsum-FT鲁棒微调算法利用语言建模特性提高零样本模型性能。
  • 大规模对比视觉 - 语言预训练模型在图像分类任务中表现竞争。
  • 额外微调零样本模型可提高下游性能,但可能削弱鲁棒性。
  • 研究基于特征失真理论和联合能量模型的鲁棒微调条件。
  • 在DomainNet和ImageNet的分布变化场景中,Lipsum-FT方法优于现有方法。
➡️

继续阅读