李飞飞「空间智能」之后，上交、智源、北大等提出空间大模型SpatialBot
内容提要
SpatialBot是一个通过对RGB-Depth的理解来实现空间概念理解的模型。作者提出了SpatialQA数据集，逐步引导模型理解深度图和使用深度信息。SpatialBot在通用场景和具身场景中表现良好。
延伸解读
为何选择RGB-D作为空间大模型输入
文章指出，点云设备昂贵，双目相机需频繁校准，而深度相机性价比高、适用性广。在通用场景中，深度估计模型也能提供较准确的深度信息。因此，作者选择RGB-D作为空间大模型的输入，以平衡成本与性能，推动具身智能发展。
现有模型理解深度图的挑战
现有图像编码器如CLIP/SigLIP在RGB图像上训练，未见过深度图，导致模型无法直接理解深度输入。即使将深度图给GPT-4o，它也无法判断机械爪是否接触物体。因此，需要专门设计任务和QA，引导模型主动利用深度信息。
SpatialQA数据集的三层设计
SpatialQA数据集分三个层次：低层引导模型从深度图直接获取信息；中层让模型将深度与RGB对齐；高层设计多个深度相关任务，如空间位置关系、物体大小、接触判断等，标注50k数据，让模型在理解深度图的基础上使用深度信息完成任务。
SpatialBot的深度信息获取机制
SpatialBot借鉴agent思想，在需要时通过API获取准确深度值。它先思考物体的bounding box，然后用中心点调用DepthAPI，并使用中心点、深度平均、最大和最小四个值描述深度。在深度信息获取和远近比较任务上，准确率超过99%。
Q&A
SpatialBot模型的主要功能是什么？
SpatialBot模型通过对RGB-Depth的理解，实现空间概念的理解，能够准确判断机械爪与目标物体的深度关系。
SpatialQA数据集的结构是怎样的？
SpatialQA数据集分为三个层次，分别引导模型理解深度图、将深度与RGB对齐，以及设计多个深度相关任务。
SpatialBot在具身智能任务中的表现如何？
SpatialBot在具身智能任务中表现良好，能够准确判断机械爪与目标物体的深度关系，准确率超过99%。
为什么深度相机在空间大模型中更具性价比？
深度相机价格适中，使用范围广，相比点云和双目相机更易于使用且不需要频繁校准。
SpatialBot如何获取准确的深度信息？
SpatialBot通过API获取准确的深度信息，并在必要时调用DepthAPI来获取物体的深度值。
SpatialBot在通用场景中的效果如何？
SpatialBot在通用场景中展示了显著的效果提升，基于多个LLM的训练，能够在常用数据集上表现出色。
