对分布泛化的任意偏移提示
内容提要
该文综述了视觉-语言模型提示学习应对分布偏移的研究进展，涵盖变分推理、贝叶斯提示学习、测试时提示调整、上下文提示学习及检索式提示编辑等方法，以提升零样本与跨域泛化性能，并在分类、回归、时间序列预测及文本到音频生成等任务上取得一致改进，部分方法准确率提升约3%至3.6%。
延伸解读
方法演进：从静态提示到动态适应
文章梳理了视觉-语言模型提示学习应对分布偏移的技术路线演变。早期方法如基于提示分布学习（2022年5月）通过捕获多种提示的分布来处理不同视觉表示；随后变分推理和贝叶斯提示学习（2022年10月）被引入以解决经验风险最小化带来的偏移问题；2022年9月提出的测试时提示调整（TPT）则实现了在单个测试样本上实时学习适应性提示。这些方法从静态、离线的提示设计逐步转向动态、在线的提示优化，体现了对分布偏移问题的应对策略日益灵活。
性能提升：准确率改进与跨域泛化
文章多次提及方法带来的性能提升。例如，通过减小分布偏移，零样本泛化在未见领域提升了3.08%；TPT方法在自然情况下的zero-shot top-1准确率比以往方法提升3.6%，并达到使用额外训练数据的最新先进方法水平；视觉提示方法在12个分类数据集上创造了82.8%的平均准确率记录。这些数据表明，针对分布偏移的提示学习改进在多个任务和数据集上带来了可观的准确率增益，并增强了跨域泛化能力。
应用范围：多任务与多模态扩展
文章指出，这些提示学习方法不仅适用于图像分类，还扩展到回归、时间序列预测和文本到音频生成等任务。例如，基于提示的时间域泛化方法（2023年10月）适用于分类、回归和时间序列预测，且无需访问目标域数据；基于检索的上下文提示编辑框架（2022年12月）则用于提升文本到音频生成的音频质量。这表明分布偏移的应对策略具有跨任务、跨模态的通用性，为不同领域的应用提供了参考。
理论解释与实用技术
文章提到，通过经典的PAC-Bayes界限可以解释离散提示的性能表现，这为手动设计和生成过程中的引导工程实践提供了可能的理论解释。此外，一些研究重新引入了输入多样性和梯度归一化等常用技术，以提升提示学习的鲁棒性。这些理论分析和实用技术有助于理解提示学习为何有效，并为实践者提供了可借鉴的设计原则和优化手段。
Q&A
视觉-语言模型在提示学习中面临的主要挑战是什么？
主要挑战是分布偏移，即训练和测试数据分布不一致，导致模型在未见领域泛化性能下降。
有哪些方法可以提升视觉-语言模型在分布偏移下的泛化能力？
包括变分推理、贝叶斯提示学习、测试时提示调整、上下文提示学习、检索式提示编辑等。
测试时提示调整（TPT）是如何工作的？
TPT在单个测试样本上实时学习适应性提示，优化CLIP模型动态调整提示，以最小化预测不确定性，提高泛化能力。
这些方法在哪些任务上取得了改进？
在分类、回归、时间序列预测及文本到音频生成等任务上取得一致改进。
这些方法相比现有最先进技术提升了多少准确率？
部分方法准确率提升约3%至3.6%，例如TPT在zero-shot top-1准确率上提升3.6%。
基于检索的上下文提示编辑框架解决了什么问题？
解决了文本到音频生成中用户提示信息模糊导致音频质量下降的问题，通过检索训练标题作为示范样本来重新审视用户提示，增强音频质量。
