语义残差指令用于持续学习
内容提要
本文介绍了一种结合监督与零样本学习的多模态提示学习方案，提出了有效的视觉提示方法和检索增强的提示学习方法。研究表明，通过优化模型结构和引入新技术，显著提升了多个视觉数据集上的分类准确率和性能。
延伸解读
多模态提示学习如何平衡监督与零样本性能
文章提出一种在单一统一训练下平衡监督和零样本学习的多模态提示方案。通过冻结预训练骨干网络，保留通用表示，同时实现最先进的零样本效果。这提示我们，提示学习可以在不破坏预训练知识的前提下，灵活适应下游任务，为多任务学习提供新思路。
视觉提示方法的效率突破与准确率记录
一种简单有效的视觉提示方法在12个分类数据集上达到82.8%的平均准确率，并重新引入输入多样性和梯度归一化。该方法表明，通过优化提示设计和训练技巧，可以在不微调整个模型的情况下显著提升性能，为资源有限场景提供了实用方案。
检索增强与单阶段框架的计算成本优化
RePrompt通过检索机制缓存下游任务知识，在少样本和域泛化任务中表现优异。PCL框架将计算成本降低约50%，准确度仅下降不到1%，并引入查询池正则化损失。这些工作显示，结合检索和高效架构可以在保持性能的同时大幅减少计算开销。
参数保留与概念引导提升泛化能力
在CLIP上添加线性适配器并采用参数保留方法，在增量学习中平衡稳定性和可塑性，取得最佳结果。CPL通过概念引导提示学习提高通用化性能，PRE重新参数化提示嵌入，在新类上平均准确率提升5.60%。这些方法共同指向一个趋势：通过轻量级调整和知识引导，提升模型在少样本和增量场景下的泛化能力。
Q&A
什么是多模态提示学习方案？
多模态提示学习方案结合了监督与零样本学习，旨在平衡两者的表现，并通过视觉和文本提示方案来优化模型。
如何实现最先进的零样本效果？
通过保持预训练的骨干网络冻结，结合多模态提示学习方案，实现了最先进的零样本效果。
视觉提示方法的准确率是多少？
该视觉提示方法在12个分类数据集上创造了82.8%的平均准确率记录。
检索增强的提示学习方法有什么优势？
检索增强的提示学习方法通过引入检索机制，显著改善了下游任务的表现，尤其在处理领域差异时效果明显。
PCL框架如何降低计算成本？
PCL框架通过消除额外的前馈阶段，将计算成本降低约50%，且准确度仅下降不到1%。
什么是Prompt Of Prompts (POP)模型？
POP模型通过逐步学习任务特定和全局prompt，能够在少样本情况下优于传统的CL方法。
