适应性提示学习与负面文本语义和不确定性建模的通用多源领域适应
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
本文研究了无监督域自适应的视觉语言模型,通过提示学习和分布对齐方法,减小了源域和目标域之间的分布差异,提高了模型性能。实验证明该方法在三个基准测试上达到了最先进的性能。
🎯
关键要点
- 本文研究无监督域自适应的视觉语言模型,旨在减少源域和目标域之间的分布差异。
- 无监督训练的视觉语言模型可以显著改善无监督域自适应的性能。
- 在无监督域自适应任务中,领域知识的对齐是一个重要挑战。
- 提出了一种基于提示的分布对齐方法(PDA),将领域知识融入提示学习中。
- PDA 采用基础分支和对齐分支的两支分支提示调试范例。
- 基础分支专注于将类相关的表示集成到提示中,以确保类别之间的区分。
- 为减小领域差异,构建源域和目标域的特征库,并提出图像引导特征调试(IFT)。
- 通过自我增强和跨域特征集成,两个分支相互促进,增强了视觉语言模型的适应性。
- 在三个基准测试上进行实验,证明 PDA 方法达到了最先进的性能。
➡️