VolDoGer:基于 LLM 辅助的视觉 - 语言任务领域泛化数据集
原文中文,约600字,阅读约需2分钟。发表于: 。我们提出了专为领域泛化而设计的 VolDoGer 数据集,通过我们评估的各种模型,包括微调模型和最新的多模式大型语言模型,从而解决了深度学习模型在视觉语言任务中领域泛化的挑战。
大规模视觉语言模型(VLMs)在自然视觉任务中表现出色,推动跨领域的研究者探索特定领域的 VLMs。广义领域提示学习(GDPL)框架解决了学术界对 VLMs 研究受限的问题。GDPL 通过小规模的特定领域基础模型和最少的提示样本,使 VLMs 的识别能力从自然视觉转移到特定领域,无需大量数据或资源。实验证明了 GDPL 的有效性,并展示了在提示学习范式下实现最先进的领域识别性能的能力。