3DTopia: 带混合扩散先验的大规模文本到 3D 生成模型
原文约500字，阅读约需2分钟。发表于：。我们提出了一个两阶段的文本到 3D 生成系统，名为 3DTopia，它使用混合扩散先验在 5 分钟内生成高质量的通用 3D 资产。第一阶段直接从 3D 数据学习的 3D 扩散先验中采样，由文本条件的三视图潜在扩散模型提供动力，快速生成用于快速原型设计的粗糙 3D 样本。第二阶段利用 2D 扩散先验进一步优化第一阶段中粗糙 3D 模型的纹理。优化包括潜在空间和像素空间的优化，用于生成高质量的纹理。为了促进所提出系统的训练，我们通过结合视觉语言模型和大型语言模型清洗和加标最大的开源 3D 数据集 Objaverse。实验证据定性和定量地展示了所提出系统的性能。我们的代码和模型可在此 https 网址获得。
本文介绍了PI3D框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的3D形状。通过微调2D扩散模型为3D扩散模型，PI3D具备了3D生成能力和2D模型的泛化能力，并通过分数蒸馏抽样提高采样的3D形状质量。PI3D实现了从图像到三视图生成的迁移，并通过混合训练伪图像和真实图像提高泛化能力。PI3D能够在几秒钟内采样多样性的3D模型，并在几分钟内改进。实验结果证实了PI3D在快速生成一致且高质量的3D模型方面的优势。建议PI3D是文本到3D生成领域的一个有前景的进展。
