推动科学中的 AI 公平性：通用领域提示学习助力面向普及的 VLM 研究
内容提要
本文探讨了四元数网络和深度视觉提示在视觉语言任务中的应用，提出了新的提示学习策略以提高模型的泛化能力。研究表明，领域特定提示能有效提升预训练模型在医学图像分类和强化学习任务中的表现。
延伸解读
提示学习成为跨领域迁移的关键技术
文章汇总的多项研究显示，提示学习正从通用视觉语言任务向医学图像、遥感图像、强化学习等专用领域扩展。其核心思路是通过设计领域特定的视觉或文本提示，将预训练模型中的通用知识高效迁移到下游任务，避免全参数微调。这种范式在多个基准上取得了领先性能，表明提示学习是解决领域泛化问题的重要方向。
领域泛化与零样本能力的提升路径
针对预训练模型在特定领域零样本能力不足的问题，文章介绍了软提示生成、深度视觉提示、自适应集成等方法。这些方法通过生成实例特定的提示、平衡域不变性与类别可分离性，或结合通用与任务特定知识，显著提升了模型在未知任务上的泛化能力。实验证明，合理设计的提示能有效调用模型内部知识，甚至超越监督模型。
多模态对齐与强化学习的结合
文章还探讨了利用视觉语言模型的知识来改进强化学习。通过将VLM作为可提示的表示方式，为策略提供任务背景和辅助信息，使智能体在Minecraft和Habitat等复杂任务中表现优于从通用图像嵌入训练的策略。这表明跨模态对齐不仅能提升视觉语言任务，还能为序列决策提供语义先验，拓展了提示学习的应用边界。
Q&A
四元数网络在视觉语言任务中有什么应用？
四元数网络用于实现从通用化到专用化领域的有效识别能力转移，结合领域特定视觉特征引导通用上下文嵌入的转换。
什么是动态视觉提示（DVP）方法？
动态视觉提示（DVP）是一种新型转移学习方法，通过搜索算法将预训练语言模型与视觉语言任务有效结合，保持模型参数完整性。
领域感知提示学习（DAP）框架的优势是什么？
DAP框架为预训练模型提供特定对象级和场景级跨模态对齐，显示出明显的优势，尤其在视觉语言推理任务中。
软提示生成（SPG）方法如何提高领域泛化能力？
SPG方法通过在特定域数据上微调生成软提示，融合生成模型的领域知识，从而提高领域泛化能力，达到了最先进的性能。
如何利用视觉语言模型进行强化学习？
通过将视觉语言模型作为可提示的表示方式，提供任务背景和辅助信息，从而提升强化学习策略的表现。
医学图像领域的提示学习有什么特别之处？
合理设计的医学提示语能够有效调用预训练模型知识，改善医学图像领域的泛化能力，并优化新对象的识别。
