GALA3D：基于布局导向的生成式高斯雾化技术实现文本到复杂 3D 场景生成
内容提要
2023年，3D高斯泼溅技术被广泛用于文本到3D生成。DreamGaussian通过UV空间高斯模型与网格提取，2分钟即可生成高质量纹理网格，速度提升约10倍；GSGEN、HumanGaussian等实现精细几何与人体生成。该技术还扩展至4D动态场景、SLAM建图及基于LLM的3D场景布局，兼顾效率与质量。
延伸解读
3D高斯泼溅在文本到3D生成中的效率突破
文章指出，DreamGaussian通过UV空间高斯模型与网格提取，仅需2分钟即可生成高质量纹理网格，速度提升约10倍。这得益于3D高斯曲线的渐进致密化，相比神经辐射场的占位修剪，收敛更快。这一效率提升使得文本到3D生成更接近实用化，为下游应用如游戏、设计提供了快速原型工具。
从静态到动态：4D场景与SLAM的扩展
3D高斯泼溅技术不仅用于静态物体生成，还扩展至4D动态场景和SLAM建图。例如，GS-SLAM首次将3D高斯表示用于SLAM，通过自适应扩张策略和从粗到细的位姿跟踪，在Replica和TUM-RGBD数据集上达到有竞争力的性能。动态场景重建则通过MLP分离动态与静态部分，实现时域一致的高质量实时渲染。
多物体场景与物理准确性的挑战
CG3D方法通过显式高斯辐射场生成可扩展的三维资产，解决了文本到3D生成中多物体组合和物理准确性的限制。与现有模型相比，CG3D在对象组合和物理准确性方面展示了领先结果。这表明，尽管单物体生成已较成熟，但复杂场景的生成仍需在布局和物理合理性上进一步突破。
Q&A
DreamGaussian 如何实现快速文本到3D生成？
DreamGaussian 在 UV 空间中设计了一个生成性 3D 高斯飞溅模型，并伴随网格提取和纹理细化。它证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。
GSGEN 方法在文本到3D生成中有什么特点？
GSGEN 利用高斯雨滴喷洒技术进行文本到 3D 生成，可以生成具有精细细节和更准确几何形状的高质量 3D 对象。
HumanGaussian 如何生成高质量的3D人体？
HumanGaussian 通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。
GS-SLAM 在 SLAM 系统中如何使用3D高斯表示？
GS-SLAM 首次在 SLAM 系统中使用 3D 高斯表示方法，采用实时可微分雀斑光照渲染流水线，加速地图优化和 RGB-D 重渲染。它提出自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态。
如何利用3D高斯喷洒技术重构动态场景？
使用 3D 高斯喷洒法重构动态场景，通过可调整的多层感知器（MLP）模型将场景的动态部分与静态部分分离，引入自适应窗口采样策略和自监督一致性损失来实现场景的时域一致性和高质量的可视化，达到了与竞争性能的动态场景高品质实时渲染。
LI3D 系统如何利用大型语言模型生成3D场景？
LI3D 系统集成了大型语言模型（LLMs）作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。
