CLAP:对预先训练的视觉语言模型鲁棒性的增强提示对比学习

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种利用预训练视觉-语言模型进行进一步调整的方法,使其能够适应新任务而不仅仅是零样本学习。通过在预训练的CLIP模型上增加附加层,并对线性适配器、自注意适配器以及修改CLIP文本编码器输入的提示调整进行研究,实验证明最简单的解决方案获得了最佳结果。这种方法显著改进了现有技术水平。

🏷️

标签

➡️

继续阅读