SpatialVLM：赋予视觉语言模型空间推理能力
内容提要
本文综述视觉语言模型在空间关系推理中的表现：现有模型在理解物体朝向、基本空间关系及“可见”物理知识方面与人类差距明显，准确率约70%。研究提出VSR数据集、几何推理基准及3D-LLMs、VLMaps等方法，将3D点云与视觉语言特征结合用于导航和问答，并探索其在自动驾驶中的应用。
延伸解读
空间推理仍是视觉语言模型的短板
文章汇总的多项研究一致指出，当前视觉语言模型在空间关系理解上存在明显不足。VSR数据集显示模型准确率仅约70%，且难以识别物体朝向；针对“可见”物理知识的评估也发现，模型在颜色、大小和空间三个维度上与人类差距显著。这提示我们，尽管模型在通用视觉问答上表现良好，但涉及精细空间判断时仍需谨慎对待其输出。
数据与基准是改进空间推理的关键抓手
文章提到，常用数据集如VQAv2缺乏可靠的空间关系标注，导致模型学习不足。为此，研究者构建了VSR、几何推理基准等专门数据集，并设计代理任务来训练模型。这些工作表明，提升空间推理能力不仅需要模型架构创新，更依赖高质量、细粒度的数据支撑。读者可关注后续基准的更新，以评估模型在真实场景中的空间理解水平。
3D融合与自动驾驶是重要落地方向
文章介绍了3D-LLMs和VLMaps等方法，将3D点云与视觉语言特征结合，用于导航和问答任务。在自动驾驶中，DriveLM-Agent通过图结构推理的问答对模拟人类推理，在零样本评估中展现出竞争力。这些探索说明，空间推理能力的提升有望直接赋能机器人导航和自动驾驶等需要理解物理世界的应用，但文章也指出相关基准仍具挑战性。
Q&A
视觉语言模型在空间关系推理上的准确率大概是多少？
当前视觉语言模型在空间关系推理任务上只能达到约70%的准确率，并且无法识别有关物体朝向的关系。
VSR数据集是什么？它包含哪些内容？
VSR（Visual Spatial Reasoning）数据集包含超过10k已标注的英文自然文本图像对和66种空间关系，用于评估视觉语言模型的空间推理能力。
为什么视觉语言模型在识别基本空间关系上表现较差？
研究表明，常用的数据集如VQAv2中缺乏关于学习空间关系的可靠数据来源，导致模型在识别基本空间关系方面表现较差。
3D-LLMs是如何将3D世界引入语言模型的？
3D-LLMs利用3D点云进行各种3D相关任务，通过设计的提示机制收集了超过300k的3D语言数据，实验证明其在ScanQA上超过最先进基准，并在3D字幕、任务组合和3D辅助对话方面优于2D VLMs。
VLMaps是什么？它有什么特点？
VLMaps是一种将3D物理世界重建与预训练视觉语言特征直接融合的空间地图表示，能够通过大型语言模型将自然语言命令转化为空间导航目标。它无需额外标注数据即可自主构建，可与多种机器人共享，并能生成新的障碍物地图。
视觉语言模型在自动驾驶中如何应用？
研究将视觉语言模型整合到端到端驾驶系统中，提出Graph VQA任务模拟人类推理过程，构建了基于nuScenes和CARLA的数据集DriveLM-Data，并提出了基准方法DriveLM-Agent。实验证明Graph VQA为驾驶场景推理提供了简单框架，DriveLM-Agent在端到端自动驾驶上具有竞争力，尤其在零样本评估时效果更显著。
