李飞飞「空间智能」之后，上交、智源、北大等提出空间大模型SpatialBot

SpatialBot是一个通过RGB-Depth理解空间概念的模型。

作者提出了SpatialQA数据集，逐步引导模型理解深度图和使用深度信息。

SpatialBot在通用场景和具身场景中表现良好。

第一作者为斯坦福大学研究生蔡闻骁，研究兴趣为多模态大模型和具身智能。

李飞飞提出空间智能概念，研究者们共同开发了SpatialBot和相关数据集。

SpatialBot在具身智能任务中能够准确判断机械爪与目标物体的深度关系。

深度相机相较于点云和双目相机更具性价比，适合用于空间大模型的输入。

现有模型无法直接理解深度图，需要专门设计任务引导模型理解深度信息。

SpatialQA数据集分为三个层次，逐步引导模型理解深度图和使用深度信息。

SpatialBot通过API获取准确的深度信息，准确率超过99%。

SpatialBot使用毫米级的metric depth编码深度图，保留所有深度信息。

SpatialBot在多个基于LLM的任务中展示了显著的效果提升。

数据标注包括空间理解问题和具身任务中的重要问题，使用GPT辅助标注。

训练集SpatialQA包含深度图理解、空间关系理解和机器人场景理解。