改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？
内容提要
本文探讨了将外部知识融入语言模型的提示微调方法，以提升视觉-语言模型在评论分类等任务中的性能。研究提出了分布感知提示微调和渐进式多模态条件调整等新方法，显著改善了模型的泛化能力和分类准确性。同时，介绍了双重对齐提示调整和对抗性提示调整技术，增强了模型的鲁棒性和迁移学习效率。
延伸解读
提示微调在视觉-语言模型中的核心思路
文章指出，提示微调通过将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能。在视觉-语言模型中，这体现为对文本和视觉提示的参数进行微调，从而适配下游任务。例如，DAPT通过对齐两种模态的特征空间来改善泛化能力，而ProMPT则通过多模态提示使视觉-语言特征逐步对齐，实现从粗糙到准确的分类。这些方法共同表明，提示微调是连接大规模预训练模型与具体任务的有效手段。
不同提示微调方法的性能提升与适用场景
文章介绍了多种提示微调方法，并给出了具体的性能提升数据。例如，基于文本的视觉与语言模型训练方法在领域特定适应上性能提高达8.4%，精细化识别提高达8.7%，零标记分类整体平均提高达3.1%。DuAl-PT在少样本识别和新样本泛化上表现卓越，UPT在11个视觉数据集上取得了较好的few-shot learning和domain generalization效果。这些结果表明，不同方法在不同场景下各有优势，读者可根据任务需求选择。
鲁棒性与效率的改进方向
除了提升泛化能力，文章还关注模型的鲁棒性和计算效率。AdvPT技术旨在提升视觉-语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并结合现有防御技术进一步提高防御能力。Approximated Prompt Tuning方法则通过基于软提示令牌的独立信息扩散步骤，避免昂贵的全局关注建模，显著降低计算复杂度。这些改进使得提示微调在实际部署中更具可行性。
低资源场景下的提示微调优势
文章提到，在低资源分裂的情况下，提示调整的T5-xl能够显著优于其微调和强GPT-3和BART基线表现。随着模型规模增大，提示调整的T5模型在生成目标表示方面得到进一步提高。此外，利用小型语言模型进行Prompt调整，使用提示嵌入对生成文本进行控制，在情感分析、正式度和有害语言领域也验证了有效性。这表明提示微调在数据稀缺时尤其具有优势。
Q&A
什么是分布感知提示微调（DAPT）？
分布感知提示微调（DAPT）是一种通过对齐模态特征空间来显著改善视觉-语言模型泛化能力的方法。
渐进式多模态条件调整（ProMPT）如何提高分类准确性？
渐进式多模态条件调整（ProMPT）通过逐步对齐视觉-语言特征，实现从粗糙到准确的分类，显著提高分类准确性。
双重对齐提示调整（DuAl-PT）在少样本识别中有什么优势？
双重对齐提示调整（DuAl-PT）结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和新样本泛化上取得了卓越的性能。
对抗性提示调整（AdvPT）是如何增强模型鲁棒性的？
对抗性提示调整（AdvPT）通过提升图像编码器的对抗性鲁棒性，改善视觉-语言模型对抗攻击的脆弱性。
统一提示微调（UPT）如何提升迁移学习效果？
统一提示微调（UPT）通过联合优化跨模态提示，提升了few-shot learning和领域泛化效果。
在低资源情况下，提示调整方法的表现如何？
在低资源情况下，提示调整方法的T5-xl显著优于微调和强基线表现，显示出更好的效果。
