一种基于得分蒸馏采样的文本到 3D 的定量评估
内容提要
该文综述基于分数蒸馏采样（SDS）的文本到3D生成研究，涵盖CSD、SSD、Consistent3D等改进方法，以解决过平滑、过饱和、Janus及几何不一致问题，并应用于纹理合成、4D场景和3D人像生成，提升保真度与多样性。
延伸解读
SDS损失函数的修复与验证
文章指出，Score Distillation Sampling（SDS）方法使用图像扩散模型解决优化问题，但存在损失函数缺陷。作者分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新损失公式在多样性和有效性上的提升。这为后续改进提供了基础。
分类器分数蒸馏（CSD）的发现
通过对分类器无关指导在分数蒸馏中的作用进行重新评估，作者发现仅用指导就足以进行有效的文本到3D生成任务，称为分类器分数蒸馏（CSD）。该方法可理解为使用隐式分类模型进行生成，并在形状生成、纹理合成和形状编辑等任务中验证了有效性，结果优于现有方法。
稳定评分蒸馏（SSD）的提出
文章将SDS解释为模式分离、模式寻找和方差降低三个功能组成部分的组合，并分析了每个部分的特性。基于此，作者提出稳定评分蒸馏（SSD），协调各组成部分，实现高质量3D内容生成。实验证实，即使在最具挑战性的NeRF表示下，也能生成高保真3D内容，避免过度平滑和过度饱和。
Consistent3D与确定性采样
通过分析SDS及其变体，作者发现其蒸馏抽样过程对应于随机微分方程（SDE）的轨迹抽样，从而提出Consistent3D方法，通过确定性抽样先验进行文本到3D生成。实验表明，Consistent3D在生成高保真度和多样性的3D物体及大规模场景方面具有高效能。
Q&A
什么是分类器分数蒸馏（CSD）？它在文本到3D生成中有什么作用？
CSD是一种基于分类器无关指导的分数蒸馏方法，仅用指导就足以进行有效的文本到3D生成任务。它可以理解为使用隐式分类模型进行生成，并在形状生成、纹理合成和形状编辑等任务中优于现有方法。
稳定评分蒸馏（SSD）是如何解决3D生成中的过平滑和过饱和问题的？
SSD通过将Score Distillation Sampling（SDS）解释为模式分离、模式寻找和方差降低三个功能组成部分的组合，并有效协调每个组成部分，从而生成高保真度的3D内容，避免过平滑和过饱和问题。
Consistent3D方法如何提高文本到3D生成的保真度和多样性？
Consistent3D通过分析SDS及其变体，发现蒸馏抽样过程对应于随机微分方程（SDE）的轨迹抽样，从而提出通过确定性抽样先验来进行文本到3D生成，实验表明其能生成高保真度和多样性的3D物体和大规模场景。
文本到3D生成中的Janus问题是什么？有哪些解决方法？
Janus问题是指生成3D模型时出现的多面问题（如多个正面）。解决方法包括得分去偏置和提示去偏置两种方法，实验证明了这些方法的有效性。
RetDream如何解决文本到3D生成中的几何不一致问题？
RetDream通过检索辅助的方法，解决了文本到3D生成中存在的3D几何不一致问题，并实现了几何一致性和生成场景忠实度的显著改进。
DreamPortrait算法是如何生成3D感知人像的？
DreamPortrait算法通过Score Distillation Sampling和GAN损失正则化方法来优化分布，并设计了3D感知门控交叉关注机制，在一个前向传递中生成文本引导下的3D感知画像，具有高效且鲁棒的多视图语义一致性。
