L3GO: 基于三维思维链的语言智能代理生成非常规物体
内容提要
该文综述大语言模型在3D领域的应用，涵盖文本生成3D对象、零样本3D视觉定位、交互式3D场景生成、3D场景图构建、3D场景对话、指令驱动建模、多模态通用智能体以及直接处理点云并回应指令等方向。
延伸解读
从文本到3D：生成技术的演进
文章回顾了文本生成3D对象的技术路线，如3D-TOGO采用文本到视图再重建3D的模块化设计，相比text-NeRF和Dreamfields在视图一致性和字幕相似性上更优。这反映了该领域从逐物体优化向无需逐个优化、可控生成发展的趋势，为后续研究提供了技术参照。
LLM赋能3D场景理解与交互
多项工作展示了LLM在3D场景中的核心作用：LLM-Grounder实现零样本开放词汇的3D视觉定位，LI3D将LLM作为布局解释器实现交互式场景生成，Chat-3D则构建了3D场景对话系统。这些案例表明，LLM正成为连接语言与3D世界的通用接口，显著提升了复杂查询下的定位与交互能力。
通用3D智能体的探索与挑战
LEO和LL3DA代表了构建通用3D智能体的尝试。LEO通过两阶段训练实现感知、推理与行动，LL3DA直接处理点云并响应指令。文章指出，当前模型在理解和与三维世界交互方面仍存在显著挑战，这阻碍了现实世界任务的执行，也是未来研究的关键方向。
Q&A
3D-TOGO 模型是如何实现文本到3D对象生成的？
3D-TOGO 模型包含文本到视图生成模块和视图到3D对象生成模块。前者生成目标3D对象的不同视图，后者采用 pixelNeRF 模型从预生成视图中获取隐式3D神经表示，从而生成具有良好纹理且无需逐个优化的3D对象，并能控制类别、颜色和形状。
LLM-Grounder 如何实现零样本3D视觉定位？
LLM-Grounder 将复杂自然语言查询拆解为语义元素，利用可视化定位工具识别3D场景中的对象，并评估对象间的空间和常识关系以做出最终定位决策。它不需要有标签的训练数据，可应用于新型3D场景和任意文本查询，在复杂语言查询中显著提高了定位能力。
Chat-3D 是什么？它有什么能力？
Chat-3D 是首个用于3D场景的通用对话系统，通过将预训练的3D表示与先进LLM的推理和对话能力相结合。它能感知3D世界，理解各种3D场景指令，进行复杂空间推理，并将外部知识融入响应。在构建的指令数据集上，相对于GPT-4获得了相对得分75.6%。
LEO 代理人的训练分为哪两个阶段？
LEO 代理人的训练分为两个阶段：（一）三维视觉语言对齐，（二）三维视觉语言行动指导调整。为了促进训练，研究者策划并生成了大规模物体级和场景级多模态任务数据集。
LL3DA 是什么？它有什么特点？
LL3DA 是一种大型语言3D助手，可以直接接收点云输入，并对文本指令和视觉提示进行回应。它帮助大型多模态模型更好地理解人类互动，并在杂乱的3D场景中消除歧义。实验证明，LL3DA 在3D密集字幕和3D问答方面取得了显著成果，超越了各种3D视觉语言模型。
如何利用大型语言模型构建3D场景图？
该论文提出在任意环境中构建3D场景图的方法，通过使用大型语言模型构建空间本体以减少手动工作量，并利用逻辑张量网络添加逻辑规则或公理，提供附加监督信号，减少标记数据需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成3D场景图的质量。
