通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏
内容提要
本文探讨了分数蒸馏抽样（SDS）及其变体在文本到三维生成中的应用，提出了“Consistent3D”方法，显著提升了三维物体和场景的生成质量。研究分析了SDS的组成部分，并提出了稳定评分蒸馏（SSD）和分类器分数蒸馏（CSD）方法，解决了生成模型中的多面几何和准确性问题，效果优于现有技术。
延伸解读
SDS与SDE的理论联系
文章指出，分数蒸馏抽样（SDS）的蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样。这一发现为SDS提供了新的理论视角，并直接启发了Consistent3D方法，该方法通过确定性抽样先验进行文本到三维生成，在生成高保真度和多样性的三维物体和大规模场景方面表现出高效能。
SDS的组成分析与SSD方法
文章将SDS解释为模式分离、模式寻找和方差降低三个功能组成部分的组合，并分析了每个部分的特性。基于此提出的稳定评分蒸馏（SSD）方法，能有效协调这些组成部分，实现高质量的三维内容生成，即使在最具挑战性的NeRF表示下，也能避免过度平滑和过度饱和等问题。
多面几何问题的解决方案
针对文本到三维生成中常见的模糊外观和多面几何问题，文章分析了其核心在于二维扩散过程中噪声水平、扩散网络架构和三维模型表示之间的相互作用。StableDreamer方法通过三个新进展解决了多面几何问题，生成高保真度的三维模型并稳定收敛。
策略梯度与分类器分数蒸馏的进展
文章介绍了DDPO3D方法，将策略梯度方法扩展到基于得分的三维渲染，并利用美学评分改进了从二维扩散模型获得的渲染质量，显示了对SDS-based方法的改进。此外，分类器分数蒸馏（CSD）方法通过隐式分类模型进行生成，在形状生成、纹理合成和形状编辑等任务中取得了优于现有方法的结果。
Q&A
什么是分数蒸馏抽样（SDS）？
分数蒸馏抽样（SDS）是一种对应于随机微分方程（SDE）轨迹抽样的技术，用于提升三维生成的质量。
Consistent3D方法的主要优势是什么？
Consistent3D方法在生成高保真度和多样性的三维物体和场景方面表现出色，显著提升了生成质量。
稳定评分蒸馏（SSD）方法的作用是什么？
稳定评分蒸馏（SSD）方法有效协调SDS的三个组成部分，实现高质量的3D内容生成。
StableDreamer方法解决了哪些问题？
StableDreamer方法解决了多面几何问题，能够生成高保真的3D模型并稳定收敛。
分类器分数蒸馏（CSD）方法的创新之处是什么？
分类器分数蒸馏（CSD）方法通过隐式分类模型进行生成，取得了优于现有技术的结果。
RetDream方法如何改善文本到3D生成的几何一致性？
RetDream方法通过检索辅助的方式解决了文本到3D生成中的几何不一致问题，显著提高了几何一致性和生成场景的忠实度。
