SEP:自我增强的视觉语言模型提示调整
📝
内容提要
基于 Context Optimization (CoOp) 的 Prompt tuning 方式可通过推断附加可学习的提示符令牌来有效地调整视觉 - 语言模型(VLMs)以适应下游任务。然而,这些令牌由于与预训练的令牌无关且无法捕捉特定于输入的知识,如类别感知的文本或实例感知的视觉知识,因此没有足够的区分性。因此,我们提出了一种名为 Self-Enhanced Prompt Tuning...
🏷️
标签
➡️