连线：针对黑盒图像 - 语言模型的协作微调
内容提要
该文综述视觉语言模型的参数高效微调方法，涵盖黑盒优化、提示调优、适配器与多任务学习等方向。研究利用大语言模型自动搜索文本提示，在少样本图像分类中提升性能；提出合作式黑盒调整、VeCAF、CRaSh、跨模态提示调优、CP-Tuning、SoftCPT、CoPrompt 等方法，在多个下游基准上显著改进，并兼顾隐私与泛化能力。
延伸解读
黑盒优化如何绕过模型访问限制
文章指出，通过对话式大语言模型作为黑盒优化器，仅利用文本反馈自动搜索最佳提示，无需访问模型参数、特征嵌入或输出标签。这为闭源视觉语言模型的少样本适应提供了可行路径，尤其适合无法获取内部信息的场景。
参数高效微调的多条技术路线
文章综述了提示调优、适配器、多任务学习等参数高效微调方向，并列举了合作式黑盒调整、VeCAF、CRaSh、跨模态提示调优、CP-Tuning、SoftCPT、CoPrompt 等方法。这些方法在多个下游基准上取得改进，同时兼顾隐私与泛化能力。
性能提升与泛化能力的平衡
文章提到，基于文本的视觉语言模型训练方法在领域特定适应上性能提升达8.4%，精细化识别提升达8.7%，零标记分类平均提升达3.1%。CoPrompt 在新颖类别、领域泛化和跨数据集评估中优于现有方法，表明微调需兼顾任务性能与泛化。
Q&A
什么是黑盒优化在视觉语言模型微调中的应用？
黑盒优化在视觉语言模型微调中，是指利用基于对话的大型语言模型作为黑盒优化器，通过对话过程中的文本反馈自动搜索最佳文本提示，从而避免访问模型参数、特征嵌入或输出标签。
合作式黑盒调整方法如何解决闭源模型的访问障碍？
合作式黑盒调整方法通过文本提示优化和输出特征调整来处理闭源模型的访问障碍，并在十一个下游基准测试中取得了显著改进。
VeCAF方法如何提高图像分类的效率和性能？
VeCAF通过聚合主动微调和语言嵌入增强数据选择，从而提高图像分类的效率和性能。
CRaSh方法如何利用LLMs的模块化结构来改进Offsite-Tuning？
CRaSh方法通过探索大型语言模型的模块化结构和表示相似性，研究Offsite-Tuning技术及其与后端模拟器之间的转换，从而提高性能并解决隐私问题。研究发现模型大小会导致LLMs内层面的唯一模块结构的出现，并注意到隐含的表示和中间预测方面的微妙变化。
CP-Tuning框架有什么特点？
CP-Tuning是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。
CoPrompt方法如何提高few-shot场景下的泛化能力？
CoPrompt通过强制任务输出一致性约束、在两个受扰动的输入之间进行一致性约束，并结合提示和适配器两种调整模式的优势来调整额外参数，从而提高大规模基础模型在few-shot场景下微调过程中的泛化能力。
