VolDoGer：基于 LLM 辅助的视觉 - 语言任务领域泛化数据集
内容提要
本文提出了广义领域提示学习（GDPL）框架，旨在通过小规模特定领域模型和最少提示样本，提升视觉语言模型（VLMs）的识别能力，解决构建特定领域VLMs时的数据和资源限制。GDPL通过四元网络和低秩自适应方法，展示了在多个领域的有效性，推动了可持续的VLMs研究。
延伸解读
GDPL 如何降低领域适配门槛
构建特定领域视觉语言模型通常需要大量标注数据和算力，这限制了学术界的参与。GDPL 框架通过小规模领域基础模型和少量提示样本，将自然视觉中的识别能力迁移到特定领域，无需大规模数据或资源。其四元网络和低秩自适应方法，在遥感、医学成像等多个领域验证了有效性，为资源有限的研究者提供了可行路径。
跨模态关系与分层传导的作用
GDPL 利用四元网络，以领域基础模型和最少提示样本为语言分支注入领域知识，揭示领域视觉特征与自然视觉上下文嵌入之间的跨模态关系。同时，通过生成视觉提示特征的分层传导，将视觉分支引向特定领域，建立与视觉语言关系匹配的基础。这种设计使模型能更精准地适应领域数据。
实验覆盖与性能表现
文章在遥感、医学成像、地质学、合成孔径雷达和流体动力学等多个领域进行了大量实验，证明 GDPL 能实现最先进的领域识别性能。这表明该框架不仅适用于常见领域，还能处理专业性强、数据稀缺的场景，为可持续和包容的视觉语言模型研究提供了实证支持。
Q&A
广义领域提示学习（GDPL）框架的主要目标是什么？
GDPL框架旨在通过小规模特定领域模型和最少提示样本，提升视觉语言模型（VLMs）的识别能力，解决构建特定领域VLMs时的数据和资源限制。
GDPL是如何提升视觉语言模型的识别能力的？
GDPL通过四元网络和低秩自适应方法，利用特定领域的基础模型和最少的提示样本，建立视觉特征与自然视觉上下文之间的跨模态关系。
GDPL在实际应用中表现如何？
大量实验证明GDPL在遥感、医学成像等领域的有效性，推动了可持续的VLMs研究。
构建特定领域VLMs面临哪些挑战？
构建特定领域VLMs需要大量的注释数据和计算资源，这些主要是工业界可用的，限制了学术界的研究。
GDPL框架如何促进可持续的VLMs研究？
GDPL通过消除学术界与工业界之间的障碍，推动了可持续和公平的VLMs研究。
GDPL框架使用了哪些技术？
GDPL框架利用四元网络和低秩自适应方法来提升视觉语言模型的性能。
