AToM：使用 2D 扩散进行摊销的文本到网格转换
内容提要
文本到3D建模研究进展迅速：ATT3D通过统一模型摊销优化实现跨提示知识共享；有方法利用预训练图像扩散模型作监督，约8毫秒生成3D资产，无需3D训练数据；Instant3D用前馈网络不到一秒生成3D对象，20秒内产出高质量无Janus问题资产，比优化方法快两个数量级；HexaGen3D推广能力强；还有方法结合2D扩散先验与NeRF优化，及基于3DMM的文本引导头部生成。
延伸解读
摊销优化：提升文本到3D生成效率
ATT3D通过统一模型同时训练多个提示，摊销优化过程，实现跨提示知识共享。这种方法不仅缩短了生成时间，还能泛化到未见设置，并使文本插值更平滑，支持新资产和简单动画的3D建模。
前馈生成：速度与质量的平衡
Instant3D采用前馈网络，在20秒内生成高质量、多样且无Janus问题的3D资产，比基于优化的方法快两个数量级。其两阶段方法先生成稀疏一致视图，再通过Transformer重构NeRF，实现了快速生成。
2D扩散先验：无需3D训练数据
多项研究利用预训练2D扩散模型作为先验，通过梯度下降优化NeRF，无需3D训练数据。例如，有方法在消费级显卡上约8毫秒生成3D资产，还有方法结合概率密度蒸馏损失，将2D扩散与3D模型结合，证明了2D先验的有效性。
Q&A
ATT3D 是如何实现文本到3D建模的摊销优化的？
ATT3D 通过以统一模型同时训练多个提示来摊销优化，从而在更短时间内共享提示集的计算，实现跨提示的知识共享，可以概括未见过的设置，并使文本之间的插值更加平滑，从而实现了新资产和简单动画的3D建模。
有没有方法能在消费级显卡上快速生成3D资产？
有，一种高效文本到3D生成方法使用大型预训练文本到图像扩散模型生成的图像作为监督信号，在消费级显卡上仅需约8毫秒即可根据文本提示生成一个3D资产，且不需要3D训练数据。
Instant3D 如何解决文本到3D生成中的 Janus 问题？
Instant3D 使用前向网络在不到一秒内为未见文本提示创建3D对象，并解决了Janus问题的多头效应。它采用两阶段方法：首先生成稀疏一致的四个结构化视图，然后利用基于Transformer的稀疏视图重构器直接回归NeRF，从而在20秒内生成高质量、多样化且无Janus问题的3D资产。
HexaGen3D 在文本到3D生成方面有什么优势？
HexaGen3D 使用预训练的2D扩散模型，能有效地从文本提示中生成高质量的3D资产，并展示出对新对象或组合的强大推广能力。
如何利用2D扩散先验进行文本到3D合成而不需要3D训练数据？
一种方法使用基于文本转图像的扩散模型进行文本到3D合成，将2D扩散模型作为先验，通过梯度下降优化3D模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将2D扩散模型与3D模型相结合。这种方法不需要3D训练数据，也不需要修改图像扩散模型。
文本引导的3D头部生成有哪些进展？
一种基于3D可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理，以生成和文本描述一致的3D头部化身，在一定程度上提高了3D头部生成的精度和多样性。
