基于提示的零样本策略转移中的视觉对齐

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本文研究了无监督域自适应的视觉语言模型,证明了它可以减少源域和目标域之间的分布差异。作者提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。实验证明,PDA 方法在无监督域自适应中达到了最先进的性能。

🎯

关键要点

  • 无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异。
  • 无监督域自适应的性能受到良好的领域不变表示的影响。
  • 提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。
  • PDA 采用了基础分支和对齐分支的两支分支提示调试范例。
  • 基础分支专注于将与类相关的表示集成到提示中,以确保类别之间的区分。
  • 为源域和目标域构建特征库,并提出图像引导特征调试(IFT)以关注特征库。
  • 通过相互促进,增强了视觉语言模型在无监督域自适应中的适应性。
  • 在三个基准测试上进行了大量实验,证明 PDA 方法达到了最先进的性能。
➡️

继续阅读