研究提出了LLaVA-3D框架，将LLaVA的2D理解与3D Patch结合，提升3D场景理解。实验显示其训练速度和性能优于现有3D多模态模型。还介绍了Chat-3D、LL3DA等3D语言模型，展示了在3D场景理解和对话中的应用优势。

Chat-3D是首个用于3D场景的通用对话系统，结合预训练的3D表示和先进的LLM推理和对话能力，能够感知3D世界、理解指令、进行空间推理并融入外部知识。在指令数据集上，Chat-3D相对于GPT-4获得了75.6%的得分。