通过引入多图像关系基准(MIRB),评估了视觉语言模型(VLMs)在多图像推理任务中的性能。发现开源VLMs在单图像任务中接近GPT-4V的性能,但在多图像推理任务中存在显著差距。强调了该领域进一步研究和开发的必要性。MIRB可作为开发下一代多模态模型的测试平台。
完成下面两步后,将自动完成登录并继续当前操作。