改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
本文探讨了将外部知识融入语言模型的提示微调方法，以提升视觉-语言模型在评论分类等任务中的性能。研究提出了分布感知提示微调和渐进式多模态条件调整等新方法，显著改善了模型的泛化能力和分类准确性。同时，介绍了双重对齐提示调整和对抗性提示调整技术，增强了模型的鲁棒性和迁移学习效率。
❓
Q&A
什么是分布感知提示微调（DAPT）？
分布感知提示微调（DAPT）是一种通过对齐模态特征空间来显著改善视觉-语言模型泛化能力的方法。
渐进式多模态条件调整（ProMPT）如何提高分类准确性？
渐进式多模态条件调整（ProMPT）通过逐步对齐视觉-语言特征，实现从粗糙到准确的分类，显著提高分类准确性。
双重对齐提示调整（DuAl-PT）在少样本识别中有什么优势？
双重对齐提示调整（DuAl-PT）结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和新样本泛化上取得了卓越的性能。
对抗性提示调整（AdvPT）是如何增强模型鲁棒性的？
对抗性提示调整（AdvPT）通过提升图像编码器的对抗性鲁棒性，改善视觉-语言模型对抗攻击的脆弱性。
统一提示微调（UPT）如何提升迁移学习效果？
统一提示微调（UPT）通过联合优化跨模态提示，提升了few-shot learning和领域泛化效果。
在低资源情况下，提示调整方法的表现如何？
在低资源情况下，提示调整方法的T5-xl显著优于微调和强基线表现，显示出更好的效果。
🏷️
