ICML 2024 | Complex Compositional 3D Scene Generation: The Arrival of LLMs for Conversationally Controlled 3D Generation and Editing Framework
内容提要
北京大学的VDIG实验室与合作者发布了GALA3D，一个高质量的Text-to-3D复杂场景生成与可控编辑框架。GALA3D能够生成具有多物体和复杂交互关系的三维场景，并支持对话式交互的可控编辑。该研究在生成场景质量、多物体复杂交互、场景几何一致性等方面表现出卓越性能，并超越了现有的文生3D场景方法。
延伸解读
LLM布局先验的局限与优化
GALA3D利用LLM生成初始布局，但LLM解读的3D空间布局常与实际场景存在差距，如物体悬浮、穿模或比例失调。为此，研究团队引入Layout Refinement模块，通过基于视觉的Diffusion先验和布局引导的生成式3D高斯对粗糙布局进行调整，优化空间位置、旋转角度和尺寸比例，使多物体交互更合理。这一设计表明，单纯依赖LLM的布局先验不足以保证物理合理性，需结合视觉先验进行迭代优化。
布局引导的3D高斯表示创新
GALA3D首次将3D-Layout约束引入3D高斯表示，提出布局引导的生成式3D高斯。每个实例物体通过自适应几何控制优化，得到实例级3D高斯表示，再根据相对位置组合成全局3D高斯，并通过全局Gaussian Splatting渲染整个场景。自适应几何控制使用密度分布函数约束高斯椭球空间位置，并采用形状正则化控制几何形状，从而生成纹理细节丰富、几何规范的3D场景，提升了可控性和一致性。
实验验证与用户调研结果
定量实验表明，GALA3D在生成场景质量、几何保真度、文本一致性、场景一致性等多维度指标上均超越现有方法。研究团队还进行了用户调研，邀请125位参与者（其中39.2%为相关领域专家和从业人员）对生成场景进行多角度评估，结果同样显示GALA3D取得最优生成质量。定性实验显示，GALA3D能够zero-shot生成复杂多物体组合3D场景，并支持对话式可控编辑，如布局变换、数字资产嵌入和装修风格改变。
Q&A
GALA3D是什么？
GALA3D是一个高质量的Text-to-3D复杂场景生成与可控编辑框架，能够生成多物体和复杂交互关系的三维场景。
GALA3D如何实现对话式交互的可控编辑？
GALA3D支持用户通过对话与系统交互，轻松定制和编辑3D场景，实现复杂三维场景的布局变换和风格改变。
GALA3D在生成场景质量方面的表现如何？
GALA3D在生成场景质量、几何保真度和文本一致性等多维度测评中均超越现有方法，取得最优生成质量。
GALA3D的整体架构是怎样的？
GALA3D利用大型语言模型生成初始布局，并通过自适应几何控制优化3D高斯的形状和分布。
GALA3D如何处理多物体的复杂交互关系？
GALA3D通过布局引导的生成式3D高斯表示，结合条件扩散先验和文生图模型，协作生成具有一致风格的3D多物体场景。
GALA3D的Layout Refinement模块有什么作用？
Layout Refinement模块对LLMs生成的布局先验进行优化，确保生成的3D场景具有合理的空间位置和比例尺度。
