本文提出了一种基于大型语言模型的视觉中心任务框架VisionLLM，结合CLIP模型提取视觉输入的语义表示。引入混合模态适应方法（MMA），实现图像与语言模型的联合优化，提升训练效率和性能。通过对话反馈优化少样本图像分类，提出InfMLLM方法，在多模态任务中表现优异。此外，使用Auto-Bench评估工具衡量视觉语言模型与人类智能的对齐能力，未来将继续探索多模态预训练的潜力。

本文介绍了一种多任务视觉语言提示调整（MVLPT）方法，结合知识感知提示调整（KAPT）和双重对齐提示调整（DuAl-PT），在少样本图像分类和新类别泛化方面表现优异。研究还提出了分层提示调整和概念引导提示学习，显著提升了模型的泛化能力，并揭示了提示工程领域的挑战与机遇。

本文探讨了知识感知提示调整（KAPT）框架在少样本图像分类中的有效性，提出多种提示方法以增强视觉-语言模型的性能。研究表明，KAPT在新类别上优于现有方法，并通过知识提示和无监督任务提升了自然语言理解能力。此外，上下文提示学习框架和知识蒸馏提示学习方法显著提高了模型在多模态学习和零样本泛化中的表现。

本文探讨了基于基础模型的主动学习和参数高效微调（PEFT）策略，强调其在少样本图像分类和低资源文本分类中的应用。研究表明，局部微调和重要性评分机制能够有效提升模型性能和适应性，减少已训练知识的损失。PEFT方法在医学成像任务中表现优异，推动了相关领域的研究进展。

该文汇总多篇无监督域自适应研究，采用深度感知、边缘先验、特征聚类与正交损失、能量模型、混合图像点云特征及熵引导自监督等方法，缩小合成到真实等域间差距，提升语义分割、神经元膜片分割、三维分割和少样本图像分类性能，多项达最先进水平。

该文综述视觉语言模型的参数高效微调方法，涵盖黑盒优化、提示调优、适配器与多任务学习等方向。研究利用大语言模型自动搜索文本提示，在少样本图像分类中提升性能；提出合作式黑盒调整、VeCAF、CRaSh、跨模态提示调优、CP-Tuning、SoftCPT、CoPrompt 等方法，在多个下游基准上显著改进，并兼顾隐私与泛化能力。

该文综述少样本图像分类研究，涵盖训练数据、预训练特征集成、自监督学习、特征选择、基准模型、分类器微调、进化搜索、支持实例表示优化及伪标签蒸馏等方法，并比较微调与元学习算法在跨域任务中的表现。

PrototypeFormer是一种改进的少样本图像分类方法，通过探索原型关系，在几个基准数据集上实验，证明其优于当前最先进的方法，特别是在miniImageNet的5-way 5-shot和5-way 1-shot任务上分别达到97.07％和90.88％。

本文介绍了一种针对视觉-语言模型的知识感知提示调整（KAPT）框架，通过设计两种类型的知识感知提示和适应头部，实现在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的方法相比，KAPT 在新类别中获得了显著的性能提升。