Text2Immersion: 带有 3D 高斯的生成沉浸式场景

本文提出了一种使用基于文本转图像的扩散模型进行文本到3D合成的方法，绕过了需要大规模标记的3D数据集和能够去噪的3D数据的限制。该方法通过梯度下降优化3D模型，并使用概率密度蒸馏引入的损失函数将2D扩散模型与3D模型相结合。这种方法不需要3D训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。