纽约大学团队在论文中提出类人视觉搜索,赋予大模型360度视觉能力,能够在真实环境中主动搜索目标。研究构建了新基准H*Bench,以评估智能体在复杂场景中的表现,推动视觉空间推理向具身主动范式转型。
本研究提出了一种新评估方法,解决视觉大语言模型在视觉空间推理(VSR)数据集不足的问题。改进后的模型VSRE在VSR测试集上的准确率提高超过27%,为该领域研究提供了新思路。
本研究提出了Visual Spatial Reasoning(VSR)数据集,包含超过1万对图像和66种空间关系。研究表明,现有视觉语言模型在空间推理方面表现不足,并提出了MMICES和VICL等方法以提升模型性能。通过分析和实验,验证了多模态模型在空间理解中的潜力,并开发了Q-Spatial Bench和SpatialPrompt技术,显著提高了定量空间推理能力。
完成下面两步后,将自动完成登录并继续当前操作。