MM-Vet v2：用于评估大型多模态模型综合能力的一个具有挑战性的基准测试
原文中文，约600字，阅读约需2分钟。发表于：。MM-Vet v2 是一个用于评估大型多模型的开放式视觉 - 语言问题的基准测试，包括六个核心的视觉 - 语言能力，并引入了一个名为 “图像 - 文本序列理解” 的新的视觉 - 语言能力。MM-Vet v2 发现 Claude 3.5 Sonnet 是最好的模型，得分 71.8，略优于得分 71.0 的 GPT-4o；在开放权重模型中，InternVL2-Llama3-76B 以 68.4 的得分领先。
研究人员推出了在线平台WildVision-Arena（WV-Arena），用于评估视觉语言模型（VLMs）的人类偏好。WV-Bench在WV-Arena Elo上实现了0.94的斯皮尔曼相关性，超过其他基准测试。然而，GPT-4V在上下文提示、空间推理、视觉想象力和专家领域知识方面存在挑战，以及幻觉和安全问题。研究人员计划发布聊天和反馈数据，推进VLMs领域的研究。
