V*: 多模态 LLMs 中的核心机制：引导的视觉搜索
原文中文，约400字，阅读约需1分钟。发表于：。我们引入了一个带有世界知识的低光磁单模型 (LLM) 引导的视觉搜索机制，用于处理高分辨率和视觉拥挤的图像，并结合 MLLM 来增强协同推理、情境理解和对特定视觉元素的精确定位，从而提供了一种新的 MLLM 元架构 (SEAL)。
本文介绍了VISUAL EMBEDDED INSTRUCTION (VIM)框架，用于评估多模态大语言模型(MLLMs)在视觉指令跟随能力方面的表现。通过将指令嵌入到视觉场景中，VIM对MLLMs提出挑战，需要强大的视觉解释能力。观察到开源的MLLMs与GPT-4V之间存在性能差异，提出了提高MLLMs在指令跟随方面能力的有希望方向。目标是推动该领域的技术进展和发展。
