得分蒸馏采样与学习的流形校正
内容提要
本文综述了分数蒸馏采样（SDS）在文本到3D生成中的改进。作者将SDS分解为模式分离、模式寻找和方差降低三部分，提出稳定评分蒸馏（SSD）以生成高保真3D内容，避免过度平滑和饱和。其他相关工作包括无噪声评分蒸馏（NFSD）、StableDreamer、对抗性分数蒸馏（ASD）、分类器分数蒸馏（CSD）、粒子变分打分抽样、4D场景合成、PaintHuman及Delta Denoising Score等，分别针对噪声、多面几何、CFG敏感、一致性、人体纹理等问题。
延伸解读
SDS 的三重角色：理解改进方法的共同框架
文章将 SDS 拆解为模式分离、模式寻找和方差降低三个功能组成部分，这为后续一系列改进提供了统一的解释框架。例如，SSD 通过协调这三部分来避免过度平滑和饱和；NFSD 针对噪声项进行修正；StableDreamer 则分析噪声水平、网络架构与 3D 表示之间的相互作用。读者可以借此理解不同方法并非孤立技巧，而是对 SDS 某一环节的针对性调整。
CFG 尺度敏感性的两种极端表现
文章指出，现有分数蒸馏方法对分类器无关指导（CFG）的尺度非常敏感：尺度较小时容易出现过度平滑或不稳定，尺度较大时则导致过饱和。ASD 通过引入可优化的鉴别器并使用完整优化目标来应对这一问题，而 CSD 则发现仅用指导就足以进行文本到 3D 生成。这提示读者，CFG 尺度不仅是调参问题，还反映了蒸馏过程中梯度信号的质量。
从 3D 到 4D 与人体：SDS 变体的应用扩展
文章列举了 SDS 变体在多个方向上的延伸：粒子变分打分抽样用于提升样本多样性和避免过饱和；基于 CSD 与 SVGD 的方法将多个样本视为“粒子”以增强跨样本一致性，并应用于全景图、视频和 3D 场景；混合得分蒸馏被用于合成 4D 场景；PaintHuman 则针对人体纹理，提出降噪得分蒸馏（DSD）并引入负梯度分量来校正梯度方向。这些案例说明 SDS 的改进思路可迁移到不同视觉模态。
Q&A
SDS（分数蒸馏采样）在文本到3D生成中主要存在哪些问题？
SDS在文本到3D生成中常导致模糊外观、多面几何、过度平滑和过度饱和等问题，且对分类器无关指导（CFG）的尺度非常敏感：小的CFG尺度上出现过度平滑或不稳定，大的尺度上则过饱和。
稳定评分蒸馏（SSD）是如何改进SDS的？
SSD将SDS分解为模式分离、模式寻找和方差降低三个功能组成部分，并协调每个组成部分，从而生成高保真3D内容，避免过度平滑和过度饱和，即使在NeRF表示下也能有效工作。
无噪声评分蒸馏（NFSD）有什么特点？
NFSD通过解释SDS过程中存在的不需要的噪声项，提出了一种新的无噪声蒸馏过程，仅需极少的修改就能更有效地从预训练文本到图像扩散模型中蒸馏，提升生成效果。
StableDreamer如何解决文本到3D生成中的多面几何问题？
StableDreamer通过分析发现多面几何等挑战的核心是2D扩散过程中噪声水平、扩散网络架构和3D模型表示之间的相互作用，并提出了三个新进展来解决多面几何问题，生成高保真3D模型并稳定收敛。
对抗性分数蒸馏（ASD）与现有分数蒸馏方法相比有何优势？
ASD使用可优化的鉴别器并使用完整的优化目标进行更新，解决了现有方法对CFG尺度敏感的问题，在2D蒸馏和文本到3D任务中表现优异，并可扩展到图像编辑任务。
分类器分数蒸馏（CSD）的核心发现是什么？
CSD的核心发现是：仅仅用分类器无关指导（CFG）就足够进行有效的文本到3D生成任务，可以理解为使用隐式分类模型进行生成。这一新视角在形状生成、纹理合成和形状编辑等任务中验证了有效性。
PaintHuman如何改善文本到3D人体纹理生成？
PaintHuman提出降噪得分蒸馏（DSD），通过引入负梯度分量迭代校正梯度方向，生成高质量纹理；同时使用深度图作为几何指导确保纹理与人体网格表面对齐，并采用几何感知网络预测表面材料以渲染逼真纹理。
