MACAROON: 训练视觉 - 语言模型成为您亲密的合作伙伴
原文中文，约600字，阅读约需2分钟。发表于：。本研究旨在将大型视觉语言模型从被动回答提供者转变为主动参与伙伴，通过建立问题的层次结构以及引入自主生成对比响应对，提高模型在主动参与方面的能力以及在一般任务上的表现。
研究人员推出了在线平台WildVision-Arena（WV-Arena），用于评估视觉语言模型（VLMs）的人类偏好。他们通过WV-Arena的用户提交选择高质量样本，策划了WV-Bench，并使用GPT-4作为评判标准。研究发现，GPT-4V在视觉识别和推理任务方面表现优秀，但仍面临上下文提示、空间推理、视觉想象力和专家领域知识等挑战。此外，当前的VLMs在受到故意引发时存在幻觉和安全问题。研究人员将发布聊天和反馈数据，推进VLMs领域的研究。
