基于提示的零样本策略转移中的视觉对齐
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
本文提出了一种领域感知提示学习（DAP）框架，通过低成本提示调整，提升视觉语言模型在无监督域自适应中的性能。实验结果表明，DAP在R2R和REVERIE任务上优于现有方法，并通过提示调试和特征库构建增强了模型的适应性和泛化能力。
🔎
延伸解读
DAP框架的核心创新
DAP框架通过低成本提示调整，为视觉语言模型注入领域特定的对象级和场景级跨模态对齐。与全参数微调不同，它仅调整提示，显著降低计算成本。在R2R和REVERIE任务上，DAP优于现有最先进方法，表明提示学习能有效提升模型在视觉语言导航任务中的适应性和泛化能力。
PDA方法如何对齐领域分布
PDA采用双分支提示调试：基础分支集成类相关表示以确保类别区分，对齐分支通过构建源域和目标域特征库，并利用图像引导特征调试（IFT）使输入关注特征库，从而集成自我增强和跨域特征。两个分支相互促进，减少领域差异，增强模型在无监督域自适应中的适应性。
实验验证与性能表现
在三个基准测试上的大量实验表明，PDA方法达到了最先进的性能。这验证了基于提示的分布对齐在无监督域自适应中的有效性。与现有方法相比，DAP和PDA在多个任务上表现更优，说明提示学习结合领域知识能显著提升视觉语言模型的泛化能力。
❓
Q&A
领域感知提示学习（DAP）框架的主要功能是什么？
DAP框架通过低成本提示调整，提升视觉语言模型在无监督域自适应中的性能。
DAP在R2R和REVERIE任务上的表现如何？
实验结果表明，DAP在R2R和REVERIE任务上优于现有方法。
如何通过提示调试和特征库构建来增强模型的适应性？
通过提示调试和特征库构建，DAP有效减少源域和目标域之间的分布差异，从而增强模型的适应性和泛化能力。
什么是基于提示的分布对齐方法（PDA）？
PDA是一种将领域知识融入提示学习中的方法，旨在增强无监督域自适应的适应性。
DAP和PDA方法在基准测试中的表现如何？
实验结果表明，DAP和PDA方法在多个基准测试上达到了最先进的性能。
如何解决视觉语言模型的领域不变性问题？
通过使用深度视觉提示和语言提示结合自适应权重机制，来解决领域不变性问题。
🏷️
