💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
本文探讨了视觉语言模型（VLMs）在基础视觉线索关联能力上的表现，并提出了VLM²-Bench评测框架。研究发现，尽管VLMs在多图和视频处理上有所提升，但在视觉线索关联能力，尤其是人物识别任务中仍显不足。分析表明，语言和视觉中心的提示方法对模型性能有显著影响，并指出未来研究方向。
🎯
关键要点
- 本文探讨视觉语言模型（VLMs）在基础视觉线索关联能力上的表现。
- 提出VLM²-Bench评测框架，系统探究模型在“人类级基础视觉线索关联能力”上的表现。
- 强调视觉关联能力对人类日常生活的重要性，且不依赖于先验知识。
- VLMs在多图和视频处理上有所提升，但视觉线索关联能力仍显不足。
- VLM²-Bench设计涵盖通用线索、物体线索和人物线索的基础关联能力，共9个子任务，3060个测试案例。
- 实验发现大多数模型的准确率低于随机猜测，尤其在描述视频中出现的人物任务上表现差。
- 模型在关联人物线索上表现优于物体线索，可能因人物数据提供了更具区分度的文本锚点。
- 模型在视觉线索关联任务中存在共性短板，过度依赖线索的“连续可见性”。
- 探讨语言为中心和视觉为中心的提示方法对模型表现的影响，发现各有优劣。
- 未来研究方向需关注如何提升VLMs在视觉线索关联能力上的表现。
❓
延伸问答
VLM²-Bench是什么？
VLM²-Bench是一个评测框架，用于系统探究视觉语言模型在基础视觉线索关联能力上的表现。
视觉语言模型在视觉线索关联能力上存在哪些不足？
视觉语言模型在视觉线索关联能力上表现不足，尤其是在人物识别任务中，准确率低于随机猜测。
VLM²-Bench的设计包含哪些内容？
VLM²-Bench设计涵盖通用线索、物体线索和人物线索的基础关联能力，共9个子任务，3060个测试案例。
为什么视觉关联能力对人类日常生活重要？
视觉关联能力使人类能够在不同图片中识别相同的人或物体，而不依赖于先验知识，便于日常生活中的决策。
模型在视觉线索关联任务中存在什么共性短板？
模型在视觉线索关联任务中普遍依赖于线索的“连续可见性”，缺乏全局关联的动态视觉理解能力。
未来的研究方向是什么？
未来研究方向需关注如何提升视觉语言模型在视觉线索关联能力上的表现。
➡️
