ViewDiff：利用文本到图像模型的 3D 一致图像生成
内容提要
该文综述文本到3D生成技术：利用预训练2D扩散模型监督NeRF优化，并引入多视角图像条件增强视图一致性，缓解浮动点与空白问题。代表方法Instant3D可20秒生成高质量3D资产；另有研究结合GAN生成风格化3D头像、3D体积编码器及高斯喷洒加速方案，整体在质量与效率上显著提升。
延伸解读
多视角一致性：文本到3D生成的关键挑战
文章指出，早期基于得分蒸馏采样（SDS）的方法仅依赖文本提示监督NeRF优化，不限制多视角一致性，导致生成结果出现浮动点或空白空间。为解决这一问题，研究者将多视角图像条件纳入监督信号，明确强制细粒度视图一致性。这种改进显著提升了3D资产的几何质量，减少了因密度估计不当造成的视觉瑕疵。
Instant3D：前馈生成实现数量级加速
Instant3D采用两阶段方法：先由精调的2D文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，再通过基于Transformer的稀疏视图重构器直接回归NeRF。该方法能在20秒内生成高质量、多样化的3D资产，且无Janus问题，比之前需要1到10小时的基于优化的方法快两个数量级，展示了前馈式生成在效率上的巨大优势。
效率优化：高斯喷洒与体积编码器
为提升文本到3D生成的效率，有研究利用高斯喷洒的3D重建算法，将2D生成器网络的评估次数减少10-100倍，从而获得更高质量、更少几何不一致性的3D资源。另一项工作则引入3D体积编码器，通过轻量级网络从多视图图像中提取特征体积，并使用3D U-Net训练扩散模型，在Objaverse数据集上实现了多样且可控的文本到3D生成。
Q&A
文本到3D生成中，如何利用预训练的2D扩散模型来监督NeRF优化？
通过得分蒸馏采样（SDS），使用预训练的文本条件2D扩散模型（如ImData）提供监督信号来优化NeRF表示。
为什么文本到3D生成中会出现浮动点或空白空间？如何解决？
由于预训练扩散模型的监督信号仅依赖文本提示，不限制多视角一致性，导致过高密度产生浮动点、密度不足形成空白空间。解决方法是将多视角图像条件纳入NeRF优化的监督信号，明确强制执行细粒度的视图一致性。
Instant3D方法如何实现快速文本到3D生成？
Instant3D采用两阶段方法：首先使用微调的2D文本到图像扩散模型一次性生成稀疏一致的四个结构化视图，然后利用基于Transformer的稀疏视图重构器直接回归生成图像的NeRF。它能在20秒内生成高质量、多样化且无Janus问题的3D资产，比基于优化的方法快两个数量级。
有哪些方法可以加速文本到3D生成的推理过程？
一种方法是使用高斯喷洒的3D重建算法，减少2D生成器网络的评估次数10-100倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的3D资源。
文本到3D生成中如何生成风格化的3D头像？
通过结合预训练的图像文本扩散模型和基于生成对抗网络（GAN）的3D生成网络，可以生成高质量、风格化的3D头像，并在视觉质量和多样性方面优于现有最先进的方法。
3D体积编码器在文本到3D生成中有什么作用？
3D体积编码器是一种轻量级网络，能够从多视图图像中有效获取特征体积，用于扩大扩散模型的训练数据。然后使用3D U-Net在扩散模型上对3D体积进行训练，用于文本到3D生成，并解决了不准确的物体标题和高维特征体积的挑战。
