研究提出了LLaVA-3D框架，将LLaVA的2D理解与3D Patch结合，提升3D场景理解。实验显示其训练速度和性能优于现有3D多模态模型。还介绍了Chat-3D、LL3DA等3D语言模型，展示了在3D场景理解和对话中的应用优势。

本文介绍了一种基于视觉语言模型的3D场景理解框架，涵盖了RegionPLC、Chat-3D和Scene-LLM等模型。这些模型结合了大型语言模型和3D视觉特征，提升了机器人在复杂环境中的推理和交互能力。研究表明，这些模型在多个3D基准测试中表现优越，展示了3D视觉与语言模型结合的潜力。

本文介绍了Chat-3D，一个结合预训练3D表示与大型语言模型（LLM）推理能力的通用对话系统。它能够理解3D场景指令并进行复杂空间推理，表现优于GPT-4。此外，研究探讨了LLMs在社交机器人中的应用潜力，并提出PoseGPT框架用于3D人体姿势理解，展示了LLMs在多智能体系统中的优势。