纽约大学团队在论文中提出类人视觉搜索，赋予大模型360度视觉能力，能够在真实环境中主动搜索目标。研究构建了新基准H*Bench，以评估智能体在复杂场景中的表现，推动视觉空间推理向具身主动范式转型。

本研究提出了一种新评估方法，解决视觉大语言模型在视觉空间推理（VSR）数据集不足的问题。改进后的模型VSRE在VSR测试集上的准确率提高超过27%，为该领域研究提供了新思路。

通过提供对象的显式位置信息并进行适当训练，仅文本的语言模型可以学习到空间关系。作者在视觉空间推理数据集上进行实验，使用位置标记的结果显著改善。仅文本的语言模型在空间关系理解方面表现优于视觉与语言模型，成为最新技术成果。作者的分析显示，仅文本的语言模型能够推广到未出现的关系，并学习了更有用的信息。