利用视觉语言预训练的无监督领域迁移
💡
原文中文,约500字,阅读约需2分钟。
📝
内容提要
本文研究了无监督域自适应的视觉语言模型,并提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。实验证明PDA方法在无监督域自适应中取得了最先进的性能。
🎯
关键要点
- 本文研究无监督域自适应的视觉语言模型。
- 无监督训练的视觉语言模型可以减少源域和目标域之间的分布差异。
- 无监督域自适应的性能受到领域不变表示的影响。
- 提出基于提示的分布对齐方法(PDA),将领域知识融入提示学习。
- PDA采用基础分支和对齐分支的提示调试范例。
- 基础分支专注于将类相关的表示集成到提示中。
- 构建源域和目标域的特征库,并提出图像引导特征调试(IFT)。
- 通过相互促进增强视觉语言模型在无监督域自适应中的适应性。
- 在三个基准测试上验证PDA方法达到了最先进的性能。
🏷️
标签
➡️