BLINK：多模态大型语言模型具备视觉但无感知能力
内容提要
本文探讨了多模态大型语言模型（MLLMs）在视觉和语言任务中的表现，提出了“视觉描述提示法”和特征混合方法，以提升视觉能力。研究显示，现有模型在视觉推理和理解方面存在缺陷，准确率普遍低于50%。为此，开发了多个基准测试（如MMStar和MLLM-Bench），以评估模型在复杂任务中的能力，推动多模态系统的进步。
延伸解读
视觉能力缺陷的根源
文章指出，多模态大模型在视觉能力上存在系统性缺陷，准确率普遍低于50%。这源于视觉表示学习仍未解决，模型可能依赖文本偏见或全局模式进行猜测，而非真正理解视觉内容。例如，在GAOKAO-MM基准中，即使表现最好的GPT-4V准确率也仅为48.1%，说明当前模型在视觉基础方面仍有较大提升空间。
基准测试的演进与挑战
为评估多模态大模型，研究者开发了多个基准测试，如MMStar、MLLM-Bench和GAOKAO-MM。这些基准不仅关注准确率，还调查数据泄漏和多模态增益，揭示模型在视觉不可或缺任务中的真实表现。例如，MMStar评估了16个LVLM，发现许多模型在视觉内容不必要的样本上表现良好，但在真正需要视觉推理的任务中表现不佳。
提升视觉能力的尝试
针对视觉缺陷，文章提出了两种改进方法：视觉描述提示法和特征混合（MoF）。前者通过提示增强视觉相关任务性能，后者将视觉自监督学习特征与MLLMs结合，显著提升视觉基础能力。这些方法表明，准确的视觉基础对于未来多模态系统至关重要，但当前模型仍面临对象幻觉和输入查询敏感等问题。
评估方法的创新
传统自动评估依赖客观查询，难以衡量创造性任务。文章引入MLLM-Bench，涵盖感知、理解、应用、分析、评估和创作等场景，更全面反映用户体验。此外，利用大视觉语言模型作为评判者，直接评估多模态对话质量，无需人工干预。这些创新为构建更强大的多模态系统提供了评估参考。
Q&A
多模态大型语言模型（MLLMs）在视觉任务中的表现如何？
现有的多模态大型语言模型在视觉推理和理解方面存在系统性缺陷，准确率普遍低于50%。
什么是“视觉描述提示法”？
“视觉描述提示法”是一种提高视觉相关任务性能的方法，旨在改善多模态大型语言模型的视觉能力。
MMStar基准测试的目的是什么？
MMStar基准测试旨在评估多模态大型语言模型的多模态能力，并调查数据泄漏和实际多模态增益。
GAOKAO-MM基准测试的发现是什么？
GAOKAO-MM基准测试评估了10个大型视觉语言模型，发现它们的准确率均低于50%。
MLLM-Bench的设计有什么特点？
MLLM-Bench设计旨在更准确地反映用户体验，并提供对模型性能更全面的评估，涵盖多种场景。
当前多模态大型语言模型在预测推理方面的表现如何？
当前流行的多模态大型语言模型在预测推理任务中的能力尚未得到充分探索，存在优缺点。
