李飞飞「空间智能」之后，上交、智源、北大等提出空间大模型SpatialBot
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
SpatialBot是一个通过对RGB-Depth的理解来实现空间概念理解的模型。作者提出了SpatialQA数据集，逐步引导模型理解深度图和使用深度信息。SpatialBot在通用场景和具身场景中表现良好。
❓
Q&A
SpatialBot模型的主要功能是什么？
SpatialBot模型通过对RGB-Depth的理解，实现空间概念的理解，能够准确判断机械爪与目标物体的深度关系。
SpatialQA数据集的结构是怎样的？
SpatialQA数据集分为三个层次，分别引导模型理解深度图、将深度与RGB对齐，以及设计多个深度相关任务。
SpatialBot在具身智能任务中的表现如何？
SpatialBot在具身智能任务中表现良好，能够准确判断机械爪与目标物体的深度关系，准确率超过99%。
为什么深度相机在空间大模型中更具性价比？
深度相机价格适中，使用范围广，相比点云和双目相机更易于使用且不需要频繁校准。
SpatialBot如何获取准确的深度信息？
SpatialBot通过API获取准确的深度信息，并在必要时调用DepthAPI来获取物体的深度值。
SpatialBot在通用场景中的效果如何？
SpatialBot在通用场景中展示了显著的效果提升，基于多个LLM的训练，能够在常用数据集上表现出色。
🏷️
