多模态上下文学习的关键是什么？
原文约400字，阅读约需1分钟。发表于：。通过对大型多模态模型的多模态 ICL 的研究，我们发现 M-ICL 主要依赖于文本驱动机制，几乎不受图像模态的影响。当与高级 ICL 策略（如 RICES）一起使用时，M-ICL 并不比基于大多数投票的上下文示例简单策略更好，此外，我们还发现了几种 M-ICL 的偏见和局限性，值得在部署之前考虑。
该论文介绍了一种新的上下文学习机制In-Image Learning（I²L），通过将示范示例、视觉线索和指令结合到一张图像中，增强了GPT-4V的能力。实验测试了I²L在复杂多模态推理任务中的有效性以及对语言幻觉和视觉错觉的缓解作用，并探讨了图像分辨率、示范示例数量和位置对I²L有效性的影响。
