上海交通大学的研究团队提出了一个多模态基准测试，用于评估大模型检测冲突指令的能力。研究人员发现当前的大模型在处理自相矛盾的指令时存在不足，缺乏自我意识和认知能力。为了提高矛盾检测能力，研究人员提出了一种插入式提示方法，可以从外部世界注入认知能力。这项研究将在欧洲计算机视觉大会上发表。

本文介绍了多个多模态基准测试的开发，包括MM-Vet、MMBench和AlignMMBench，旨在评估大型视觉语言模型（VLMs）在复杂任务中的表现。研究强调了人类偏好的重要性，并推出了WildVision-Arena平台以收集反馈。此外，提出了MMStar和MLLM-Bench，以解决数据泄漏和主观性评估的问题，推动多模态智能的发展。

本文介绍了多个新兴的多模态基准测试和数据集，如M3DBench、SEED-Bench和BIBench，旨在评估大型语言模型在3D理解、医学图像分析和商业智能等领域的能力。这些基准测试通过收集大量指令-响应对，推动了多模态研究的发展，并揭示了现有模型的局限性。

PaLI-3是一种更小、更快、更强的视觉语言模型，具有更好的比较性能。SigLIP预训练模型的PaLI在标准图像分类基准上略有弱势，但在多模态基准测试中表现出优越的性能，特别是在定位和视觉文本理解方面。SigLIP图像编码器已扩展到20亿参数，并在多语言交叉模态检索方面取得了新的最先进水平。希望PaLI-3能够推动新一代扩展模型的发展。