3DTopia: 带混合扩散先验的大规模文本到 3D 生成模型
内容提要
本文综述了利用预训练2D扩散先验进行文本到3D生成的研究。这些方法无需大规模3D训练数据，通过分数蒸馏、双向扩散等技术将2D扩散模型与3D表示结合，显著提升生成质量与效率，例如BiDiff将生成时间从3.4小时缩短至20分钟，PI3D可在数秒内采样3D模型。
延伸解读
2D扩散先验如何降低3D生成门槛
文章指出，利用预训练2D扩散先验进行文本到3D生成，无需大规模3D训练数据，也无需修改图像扩散模型。这降低了数据收集和模型训练成本，使研究者能借助现有2D模型快速构建3D生成能力。例如，PI3D通过微调2D扩散模型为3D扩散模型，并利用分数蒸馏采样提升质量，展示了该路径的可行性。
效率提升：从小时级到分钟级
文章提到，BiDiff将生成过程从3.4小时缩短到20分钟，PI3D能在几秒内采样3D模型并在几分钟内改进。这些效率提升主要归功于双向扩散、分数蒸馏等技术，它们减少了优化迭代次数或提高了采样速度。对于需要快速迭代的应用场景，这种效率改进具有实际意义。
技术路线差异与适用场景
文章综述了多种方法：有的结合3D GAN与扩散先验（DiffusionGAN3D），有的整合2D和3D扩散过程（BiDiff），有的将2D扩散微调为3D扩散（PI3D），还有的利用正交视图或纹理扩散。不同路线在生成质量、速度、泛化能力上各有侧重，读者可根据任务需求（如头像生成、纹理合成、快速原型）选择合适方法。
当前局限与未来方向
文章提到，这些方法仍依赖2D扩散先验，可能受限于2D模型的偏见或视角不一致问题。例如，Janus问题（多面重复）被专门提出并尝试解决。此外，虽然无需3D训练数据，但生成结果的几何一致性和细节丰富度仍有提升空间。未来研究可能聚焦于更好地融合2D与3D知识，以及提升泛化能力。
Q&A
文本到3D生成如何利用2D扩散先验？
通过将预训练的2D扩散模型作为先验，结合3D表示（如NeRF），使用分数蒸馏、双向扩散等技术，无需大规模3D训练数据即可生成3D内容。
BiDiff方法在文本到3D生成中有什么优势？
BiDiff整合3D和2D扩散过程，保持3D真实性和2D纹理丰富性，通过双向引导提高一致性，将生成时间从3.4小时减少到20分钟。
PI3D如何实现快速文本到3D生成？
PI3D将预训练的2D扩散模型微调为3D扩散模型，利用分数蒸馏抽样快速提高采样质量，能在几秒钟内采样3D模型，几分钟内改进。
文本到3D生成需要大规模3D训练数据吗？
不需要。许多方法如基于2D扩散先验的方法，绕过了对大规模标记3D数据集的需求，仅使用预训练的2D扩散模型即可。
有哪些方法可以提升文本到3D生成的细节质量？
例如结合多个噪声估计过程和预训练的2D扩散先验的方法，以及HexaGen3D等，能生成更高质量的细节。
文本到3D生成在消费级显卡上的生成速度如何？
有方法能在消费级显卡上仅需约8毫秒即可根据文本提示生成一个3D资产，无需3D训练数据。
