本文提出了一种基于大型语言模型的视觉中心任务框架VisionLLM，结合CLIP模型提取视觉输入的语义表示。引入混合模态适应方法（MMA），实现图像与语言模型的联合优化，提升训练效率和性能。通过对话反馈优化少样本图像分类，提出InfMLLM方法，在多模态任务中表现优异。此外，使用Auto-Bench评估工具衡量视觉语言模型与人类智能的对齐能力，未来将继续探索多模态预训练的潜力。

本文介绍了一种多任务视觉语言提示调整（MVLPT）方法，结合知识感知提示调整（KAPT）和双重对齐提示调整（DuAl-PT），在少样本图像分类和新类别泛化方面表现优异。研究还提出了分层提示调整和概念引导提示学习，显著提升了模型的泛化能力，并揭示了提示工程领域的挑战与机遇。

本文探讨了知识感知提示调整（KAPT）框架在少样本图像分类中的有效性，提出多种提示方法以增强视觉-语言模型的性能。研究表明，KAPT在新类别上优于现有方法，并通过知识提示和无监督任务提升了自然语言理解能力。此外，上下文提示学习框架和知识蒸馏提示学习方法显著提高了模型在多模态学习和零样本泛化中的表现。

本文探讨了基于基础模型的主动学习和参数高效微调（PEFT）策略，强调其在少样本图像分类和低资源文本分类中的应用。研究表明，局部微调和重要性评分机制能够有效提升模型性能和适应性，减少已训练知识的损失。PEFT方法在医学成像任务中表现优异，推动了相关领域的研究进展。

PrototypeFormer是一种改进的少样本图像分类方法，通过探索原型关系，在几个基准数据集上实验，证明其优于当前最先进的方法，特别是在miniImageNet的5-way 5-shot和5-way 1-shot任务上分别达到97.07％和90.88％。

本文介绍了一种针对视觉-语言模型的知识感知提示调整（KAPT）框架，通过设计两种类型的知识感知提示和适应头部，实现在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的方法相比，KAPT 在新类别中获得了显著的性能提升。