互动 3D：通过互动 3D 生成创造你想要的东西
内容提要
本文讨论了文本到三维生成技术的最新进展，重点介绍了通过手绘草图增强用户控制的 Control3D 方法。该方法结合改进的 2D 条件扩散模型，能够生成与文本提示和草图一致的三维场景。此外，研究还介绍了新模型 GET3D 和 DreamGaussian，提升了三维生成的效率和质量，展示了在多模态条件下生成高质量三维内容的潜力。
延伸解读
Control3D 如何提升可控性
Control3D 首次尝试在文本到三维生成中加入手绘草图作为条件，通过改进的 2D 条件扩散模型（ControlNet）引导 NeRF 参数化的三维场景学习，使每个视角与文本和草图对齐。此外，利用预训练的可微分照片到草图模型估计渲染图像的草图，并强制与输入草图几何一致，从而增强用户对生成结果的控制。
GET3D 与 DreamGaussian 的改进
GET3D 能直接生成具有复杂拓扑、丰富几何细节和高保真纹理的显式纹理 3D 网格，显著改进了以往方法。DreamGaussian 则通过 UV 空间中的生成性 3D 高斯飞溅模型和伴随网格提取与纹理细化，实现了高效生成，从单视图图像仅需 2 分钟即可生成高质量纹理网格，速度提升约 10 倍。
多模态条件生成三维场景
研究展示了利用部分图像、顶视图布局信息和文本提示等多模态条件生成 3D 场景的方法。通过预训练的文本到图像模型微调、布局条件的深度估计和 NeRF，实现从条件生成 2D 图像再到 3D 场景，避免了创建庞大数据集，并得到了定性和定量实验验证。
Q&A
Control3D 方法如何增强用户对三维内容的控制？
Control3D 方法通过改进的 2D 条件扩散模型，结合手绘草图，使用户能够根据文本提示和草图对三维场景进行交互式控制。
GET3D 模型的主要优势是什么？
GET3D 模型能够直接生成复杂拓扑结构和高保真纹理的三维网格，显著提高了以往方法的效率和质量。
DreamGaussian4D 框架的创新之处在哪里？
DreamGaussian4D 框架通过建模高斯喷洒中的空间变换，提高了 4D 生成的适用性和灵活控制，减少了优化时间。
如何通过多模态条件生成三维场景？
通过使用部分图像、布局信息和文本提示，结合预训练的文本到图像模型和深度估计，可以生成多模态条件下的三维场景。
DreamGaussian 在生成速度和质量上有什么优势？
DreamGaussian 提供了一种高效的三维内容生成框架，能够在短时间内生成高质量的纹理网格，速度比现有方法快约10倍。
文本到三维生成技术面临哪些挑战？
文本到三维生成技术缺乏根据用户需求进行交互式控制的能力，这是其主要挑战之一。
