RAVE：CLIP 引导的背光图像增强中的剩余向量嵌入
内容提要
本文介绍了一种新模型，通过Prompt-tuning方法提升了持续学习中的选择策略和适应机制。该模型在多个领域的数据集上表现优异，并通过多级交互范式训练轻量级CLIP模型，显著提高了下游任务性能。此外，研究探讨了CLIP模型在物体再识别中的应用，提出了基于原型对比学习的微调方法，取得了竞争力的结果。
延伸解读
CLIP 在持续学习中的适配策略
文章提到，通过在持续学习中引入 Prompt-tuning，模型能够实现更稳定的选择策略和适应机制，并在与预训练模型存在显著领域差异的数据集上优于现有方法。这表明 Prompt-tuning 是提升 CLIP 跨领域适应性的有效手段，尤其适合领域偏移较大的场景。
轻量级 CLIP 训练的多级交互范式
研究提出了一种多级交互范式来训练轻量级 CLIP 模型，包括改进的全局实例级对齐、基于放松二分匹配的令牌级对齐以及遮蔽语言建模目标。实验表明，该方法在多个下游任务中性能更高，说明多级对齐能更充分地利用视觉-语言监督信号。
物体再识别中的原型对比学习
针对 CLIP-ReID 中 prompt learning 的局限性，文章提出使用原型对比学习损失直接微调 CLIP 的图像编码器，从而消除对 prompt learning 的依赖。在人物和车辆 Re-ID 数据集上，该方法与 CLIP-ReID 具有竞争力，并扩展至无监督场景达到最新表现。
参数保留的适配器层设计
文章探索了在预训练 CLIP 上增加附加层（如线性适配器、自注意适配器）以及提示调整，并提出参数保留方法以平衡增量学习中的稳定性和可塑性。实验发现，最简单的带参数保留的线性适配器层取得了最佳结果，显著改进了现有技术水平。
Q&A
RAVE模型的主要创新点是什么？
RAVE模型通过引入Prompt-tuning方法，提升了持续学习中的选择策略和适应机制。
CLIP模型在物体再识别中的应用效果如何？
CLIP模型通过基于原型对比学习的微调方法，在物体再识别任务中取得了竞争力的结果。
如何提高CLIP模型在下游任务中的性能？
通过多级交互范式训练轻量级CLIP模型，可以显著提高下游任务的性能。
RAVE模型适用于哪些类型的数据集？
RAVE模型适用于与预训练模型存在显著领域差异的数据集。
RAVE模型如何实现短语定位？
RAVE模型利用CLIP实现了无需人工注释的短语定位方法，其零样本短语定位性能优于现有方法。
RAVE模型在持续学习中的优势是什么？
RAVE模型在持续学习中提供了更稳定的选择策略和适应机制，提升了学习效果。
