单幅图像中的一切：大型多模态模型是图像学习器
内容提要
本文综述多模态上下文学习（ICL）进展，提出统一多模态生成框架；发现视觉语言模型中ICL主要由文本演示驱动，据此提出MMICES；介绍M²IXT、VICL、CoBSAT基准、MMHQA-ICL、MMICL及SimICL等方法，评估开源LMM缺陷，并总结挑战与方向。
延伸解读
文本演示主导视觉语言模型的上下文学习
文章指出，在视觉语言模型（VLMs）的上下文学习（ICL）中，性能主要受演示的文本信息驱动，视觉信息的影响较小。这一发现基于对模型信息流和内部状态的分析。因此，提升ICL效果的关键可能在于优化文本演示的选择与设计，而非过度依赖视觉示例。
MMICES：兼顾视觉与语言的演示选择方法
基于上述发现，作者提出了MMICES（混合模态上下文示例选择），在选择演示时同时考虑视觉和语言两个模态。实验表明，该方法能带来更好的ICL性能。这提示我们，尽管文本主导，但视觉信息仍可辅助提升效果，平衡两者是有效的策略。
多模态上下文学习的多样方法与基准
文章综述了多种方法，如M²IXT通过多模态上下文调优扩展感知范围，VICL引入视觉演示检索和图像摘要，CoBSAT基准测试文本到图像ICL的挑战，MMHQA-ICL框架提升多模态问答性能，MMICL解决交叉多模态提示问题，SimICL结合掩码图像建模用于医学图像分割。这些工作展示了多模态ICL的广泛应用和持续创新。
开源LMM的缺陷与改进方向
文章评估了8个基于Flamingo架构的开源大型多模态模型（LMMs），在5个维度上揭示了它们的缺陷，并提出了Multitask-ICL、Chain-of-Hindsight-ICL和Self-Correcting-ICL等新方法。这表明当前开源LMM在ICL方面仍有不足，但通过针对性改进可以提升性能。
Q&A
多模态上下文学习（ICL）中，视觉和文本信息哪个起主要作用？
研究发现，在视觉语言模型（VLMs）中，ICL 主要受演示的文本信息驱动，视觉信息对 ICL 性能的影响较小。
MMICES 是什么？它如何改进多模态上下文学习？
MMICES 是一种混合模态的上下文示例选择方法，它在选择演示时同时考虑视觉和语言两个模态，从而显示出更好的 ICL 性能。
M²IXT 模块有什么作用？
M²IXT 模块通过扩展感知范围来提升多模态上下文学习能力，并通过混合任务策略训练，实现在多个任务和数据集上的快速少样本适应，同时显著减小模型参数。
VICL 方法包含哪些步骤？
VICL 包括视觉演示检索、目标导向图像摘要和目标导向演示组合三个步骤，旨在解决大型视觉语言模型中的上下文学习挑战。
CoBSAT 基准数据集是做什么的？
CoBSAT 是一个用于文本到图像上下文学习（T2I-ICL）任务的基准数据集，通过与六个最先进的 MLLMs 算法对比，表明了 T2I-ICL 的困难及其挑战。
MMHQA-ICL 框架在少样本多模态问答中表现如何？
MMHQA-ICL 框架在多模态问题回答上表现出色，优于所有基准线和使用完整数据集训练的方法，达到了多模态 QA 数据集在少样本设置下的最新成果。
MMICL 如何解决图像与文本交叉的多模态提示问题？
MMICL 通过无需训练的数据更好地适应用户真实应用中复杂的提示，包括多模态上下文与交叉的图像和文本、每个图像的文本参考以及具有空间、逻辑或时间关系的多图像数据。
SimICL 方法在医学图像分割中有什么效果？
SimICL 结合屏蔽图像建模对配对图像进行视觉 ICL，在腕部超声数据集上验证，对于骨骼结构分割取得了非常高的 Dice 系数和 Jaccard 指数，并能减少图像标注需要的人工专家时间。
