大型预训练视觉语言模型如CLIP在特定领域(如卫星图像)和细粒度分类(如汽车模型)中表现不佳。本文提出聚合与适应提示嵌入(AAPE),通过提炼自然语言提示的文本知识,改进提示学习,能够有效适应下游任务,并在少量标注数据下表现优异。AAPE在视觉语言理解和生成任务中具有竞争力,尤其适用于非典型和OOD示例,同时降低推理成本。
本研究提出了一种新的聚合与适应提示嵌入(AAPE),旨在解决CLIP模型在特定领域分类中的泛化能力不足问题,能够在有限数据下有效适应下游任务。
完成下面两步后,将自动完成登录并继续当前操作。