Nemesis：视觉语言模型软提示向量的归一化
内容提要
本文研究了基于提示的低资源视觉语言任务的few-shot学习，提出了CSP、DAPT和SPG等新方法，显著提升了视觉语言模型的性能和泛化能力。这些方法通过优化提示和增强对抗攻击的鲁棒性，在多个数据集上超越了现有技术，展现了良好的应用前景。
延伸解读
软提示技术演进脉络
文章按时间顺序梳理了视觉语言模型软提示技术的发展：从2021年FewVLM验证提示学习在VQA任务上的有效性，到2022年CSP通过可学习组件提升零样本组合性能，再到DAPT利用第二交叉熵损失对齐模态特征。这些工作逐步解决了手工提示的局限性，推动模型在少样本场景下逼近甚至超越更大模型的表现。
域泛化与参数效率的平衡
针对下游任务中手工提示不够优化的问题，SPG方法从生成视角重构提示学习，在训练阶段引入领域软提示标签，推理时生成实例特定提示，在五个域泛化基准上达到最先进性能。同时，RLP方法仅用0.5K参数就显著提升下游准确率，表明高效参数适配是重要趋势。
鲁棒性与推理效率的兼顾
APT方法通过向提示中添加一个学习到的单词，在对抗攻击下将准确率和鲁棒性平均提升13%和8.5%，增强了模型安全性。而ZERO方法在零温度TTA设置下，仅需一次前向传播即可达到与现有技术相当或更高的准确率，速度提升约10倍，内存占用减少约13倍，为实际部署提供了高效方案。
Q&A
什么是CSP技术，它如何提高视觉语言模型的性能？
CSP（组成式软提示技术）通过训练学习组件而非固定的生词表，提高了视觉语言模型的零样本组成性能。
DAPT方法的主要优势是什么？
DAPT（分布感知的提示微调）通过对齐模态特征空间，显著改善了视觉语言模型的泛化能力。
SPG方法是如何提升模型在域泛化任务上的表现的？
SPG（软提示生成）通过微调软提示标签，结合生成模型的领域知识，提升了在域泛化任务上的表现。
对抗提示调优（APT）如何增强模型的鲁棒性？
APT通过向提示中添加学习到的单词，显著提高了视觉语言模型在对抗攻击下的准确性和鲁棒性。
如何利用大型语言模型生成的类别描述来优化视觉语言模型？
通过引入基于部分级别描述的对齐方法，构建可泛化的提示，从而优化视觉语言模型的性能。
本文的研究成果对视觉语言模型的应用前景有什么影响？
研究成果展示了新方法在多个数据集上的优越性能，预示着视觉语言模型在低资源任务中的良好应用前景。
