人类秒懂，AI却懵圈：VLM²-Bench揭示视觉语言模型「视觉关联」能力短板
内容提要
本文探讨了视觉语言模型（VLMs）在基础视觉线索关联能力上的表现，并提出了VLM²-Bench评测框架。研究发现，尽管VLMs在多图和视频处理上有所提升，但在视觉线索关联能力，尤其是人物识别任务中仍显不足。分析表明，语言和视觉中心的提示方法对模型性能有显著影响，并指出未来研究方向。
关键要点
-
本文探讨视觉语言模型（VLMs）在基础视觉线索关联能力上的表现。
-
提出VLM²-Bench评测框架，系统探究模型在“人类级基础视觉线索关联能力”上的表现。
-
强调视觉关联能力对人类日常生活的重要性，且不依赖于先验知识。
-
VLMs在多图和视频处理上有所提升，但视觉线索关联能力仍显不足。
-
VLM²-Bench设计涵盖通用线索、物体线索和人物线索的基础关联能力，共9个子任务，3060个测试案例。
-
实验发现大多数模型的准确率低于随机猜测，尤其在描述视频中出现的人物任务上表现差。
-
模型在关联人物线索上表现优于物体线索，可能因人物数据提供了更具区分度的文本锚点。
-
模型在视觉线索关联任务中存在共性短板，过度依赖线索的“连续可见性”。
-
探讨语言为中心和视觉为中心的提示方法对模型表现的影响，发现各有优劣。
-
未来研究方向需关注如何提升VLMs在视觉线索关联能力上的表现。
延伸解读
视觉关联能力的重要性
视觉关联能力在日常生活中至关重要，帮助人们在没有先验知识的情况下，通过视觉特征进行识别和比对。VLMs在这一能力上的不足，可能限制了其在实际应用中的有效性，尤其是在多图和视频处理场景中。
VLM²-Bench的评测意义
VLM²-Bench作为新评测框架，专注于基础视觉线索关联能力，提供了系统化的评估方法。通过3060个测试案例，研究揭示了当前VLMs在视觉线索关联任务中的共性短板，为未来的研究方向提供了重要依据。
模型表现的局限性
实验结果显示，大多数VLMs在视觉线索关联任务中的准确率低于随机猜测，尤其是在人物识别方面。这表明现有模型在处理动态视觉信息时存在显著局限，未来需要针对这些短板进行深入研究和改进。
延伸问答
VLM²-Bench是什么？
VLM²-Bench是一个评测框架，用于系统探究视觉语言模型在基础视觉线索关联能力上的表现。
视觉语言模型在视觉线索关联能力上存在哪些不足？
视觉语言模型在视觉线索关联能力上表现不足，尤其是在人物识别任务中，准确率低于随机猜测。
VLM²-Bench的设计包含哪些内容？
VLM²-Bench设计涵盖通用线索、物体线索和人物线索的基础关联能力，共9个子任务，3060个测试案例。
为什么视觉关联能力对人类日常生活重要？
视觉关联能力使人类能够在不同图片中识别相同的人或物体，而不依赖于先验知识，便于日常生活中的决策。
模型在视觉线索关联任务中存在什么共性短板？
模型在视觉线索关联任务中普遍依赖于线索的“连续可见性”，缺乏全局关联的动态视觉理解能力。
未来的研究方向是什么？
未来研究方向需关注如何提升视觉语言模型在视觉线索关联能力上的表现。
