使大型视觉语言模型成为优秀的少量学习耠
内容提要
本文探讨了大型语言模型（LLMs）和视觉语言模型（VLMs）在少样本图像分类和分割中的应用，提出了LLaMP、MPVR和SWAB等创新方法，显著提升了模型性能。研究分析了样本选择策略，强调了主动学习在少样本训练中的有效性，并展示了LoRA在适应学习中的潜力，提出了检索增强学习（RAL）方法，取得了最佳性能。
延伸解读
少样本学习中的样本选择策略
文章指出，少样本学习性能高度依赖训练样本的选择，而以往研究常忽略这一点。通过评估熵和置信度边界等主动学习技术，并引入REPRE和Montecarlo两种新方法，研究发现这些策略显著优于随机选择，且与模型无关，可灵活增强现有少样本训练方法。
参数高效微调在少样本适应中的潜力
文章将LoRA引入少样本适应学习，在11个数据集上与基于提示和适配器的方法对比。简单的CLIP-LoRA方法在保持相同超参数的情况下，在所有目标任务上显著提升性能，表明参数高效微调是少样本视觉语言模型适应的重要方向。
检索增强学习提升少样本识别准确率
文章提出两阶段微调方法：先对混合数据端到端微调，再仅用少样本数据重训分类器。在标准基准上，该方法比现有方法准确率提高约10%，展示了检索增强学习在少样本识别中的有效性。
Q&A
大型视觉语言模型如何提升少样本图像分类的性能？
通过整合大型语言模型（LLMs），提出LLaMP方法，显著提升视觉语言模型（VLM）在低样本图像分类中的能力。
MPVR方法的主要功能是什么？
MPVR方法通过简短自然语言描述自动生成多样的类别特定提示，实现强大的零样本分类器。
SWAB方法是如何解决模态差异和能力差异的？
SWAB方法通过最优传输捕捉开源数据集与目标数据集之间的相关性，增强VLM的能力估计。
CascadeVLM框架的优势是什么？
CascadeVLM框架有效利用大型视觉语言模型的精细知识，显著提高细粒度图像分类的准确性。
在少样本训练中，样本选择策略的重要性是什么？
样本选择策略显著影响少样本学习结果，REPRE和Montecarlo方法在选择上优于随机选择。
LoRA在少样本适应学习中的作用是什么？
LoRA在少样本适应学习中展示了其潜力，显著提高了多个数据集上的性能。
