Chat-3D是首个用于3D场景的通用对话系统，结合预训练的3D表示和先进的LLM推理和对话能力，能够感知3D世界、理解指令、进行空间推理并融入外部知识。在指令数据集上，Chat-3D相对于GPT-4获得了75.6%的得分。