跨域泛化的过渡式视觉 - 语言提示学习
内容提要
本文提出多种基于提示学习的方法，以提高视觉转换器（ViT）在领域泛化中的性能。通过无标签领域通用化框架和层次对比式视觉提示等技术，实验结果表明这些方法在医学图像分类和视觉语言导航任务中优于现有技术，显著提升了模型的泛化能力和准确性。
延伸解读
从域泛化到域专用化的技术演进
文章梳理了多个基于提示学习的方法，时间跨度从2022年到2024年，展示了该领域从提升域泛化能力到实现域专用化识别的演进路径。早期工作如DoPrompt和CPL聚焦于利用提示学习增强模型在未知领域的泛化性能，而后续研究如四元数网络和层次化提示则进一步探索了如何将通用知识迁移到特定领域，并挖掘跨模态关系。这种演进反映了视觉-语言模型在适应不同领域时的需求变化。
无标签域泛化在医学图像中的价值
PLDG框架通过无监督领域发现和提示学习，在不依赖领域标签的情况下实现了与传统域泛化算法相当甚至更好的性能。这对于医学图像分类任务尤为重要，因为医学数据通常难以获取领域标签，且不同医院或设备采集的数据存在分布差异。PLDG在三个医学图像分类任务和一个去偏任务上的实验表明，该方法能够有效应对领域偏移问题，为实际医疗场景中的模型部署提供了可行方案。
视觉语言导航中的跨模态对齐策略
针对视觉语言导航任务，DAP和PANDA框架通过提示学习实现了对象级和场景级的跨模态对齐，并将领域内视觉知识高效注入预训练模型。在R2R和REVERIE数据集上的实验结果显示，这些方法优于之前的最先进技术。这表明，在需要同时理解视觉环境和语言指令的任务中，通过提示学习进行领域感知的跨模态对齐，能够显著提升模型的导航性能，为实际应用中的机器人导航等场景提供了技术基础。
Q&A
DoPrompt方法的主要优势是什么？
DoPrompt方法在四个基准数据集上获得了1.4%的精度提高，是基于ViT骨干结构的状态-of-the-art算法的3.5倍。
PLDG框架是如何实现医学图像分类的领域通用化的？
PLDG框架通过无监督领域发现和提示学习，实现了对医学图像分类的领域通用化，且在多个任务上表现优于传统DG算法。
层次对比式视觉提示（HCVP）方法的作用是什么？
HCVP方法通过独特的生成方式提高了模型的泛化性能，与传统方法不同。
领域感知提示学习（DAP）框架的创新点是什么？
DAP框架引入低成本提示调整范式，为预训练模型提供特定对象级和场景级跨模态对齐。
PANDA框架解决了哪些问题？
PANDA框架解决了预训练视觉语言模型在视觉和语言导航任务中的领域差异和交叉模态对齐问题。
CPL方法如何提高通用化性能？
CPL方法通过概念引导提示学习显著提高了通用化性能，并在11个数据集上表现优于所有先前的软提示工作。
