JointDreamer：通过联合分数蒸馏确保文本到 3D 生成中的几何一致性和文本相符
内容提要
本文介绍了一系列新方法，旨在提高文本到三维生成的质量和效率。通过引入GSD框架、姿态相关性蒸馏采样（PCDS）和不变分数蒸馏（ISD），有效解决了几何不一致性、过饱和和过平滑等问题，生成高保真度的3D模型。这些方法在生成质量和多样性方面表现优异，推动了3D生成技术的发展。
延伸解读
几何一致性的挑战与GSD框架
文本到3D生成中，几何不一致是常见问题，导致模型多面或扭曲。GSD框架将三维一致性和几何意识融入分数蒸馏采样过程，与现有基于分数蒸馏的模型兼容，显著提升生成质量。这为后续方法提供了基础思路。
采样策略的优化：PCDS与ISD
PCDS通过最小采样步骤（1-3）建立姿态相关性函数，近似真实梯度，实现高质量生成。ISD则分解SDS为重构项和无分类器引导项，发现过饱和源于大的引导尺度，过平滑源于重构项，并用不变分数项替代重构项，允许中等引导尺度，减轻过平滑和过饱和。
提升生成质量与多样性的其他方法
StableDreamer分析噪声水平、网络架构和3D表示的相互作用，解决多面几何问题。BoostDream作为插件式细化方法，通过3D模型蒸馏和多视角SDS损失设计，将粗糙资产转化为高质量资产。Consistent3D利用确定性抽样先验，高效生成高保真多样化的3D物体。
分类器分数蒸馏的新视角
CSD重新评估分类器无关指导的作用，发现仅用指导就足够进行有效的文本到3D生成，可理解为使用隐式分类模型。在形状生成、纹理合成和形状编辑等任务中验证了有效性，取得了优于现有方法的结果，为文本到3D生成提供了新见解。
Q&A
GSD框架在文本到三维生成中有什么作用？
GSD框架显著提高了文本到三维生成的性能，解决了几何不一致性问题。
姿态相关性蒸馏采样（PCDS）是如何提高三维物体生成质量的？
PCDS通过最小采样步骤建立姿态相关性函数，以近似真实梯度，从而实现高质量的三维物体生成。
BoostDream方法如何提升粗糙3D资产的质量？
BoostDream通过引入3D模型蒸馏和多视角一致的法线图，能够将粗糙的3D资产转化为高质量的3D资产。
不变分数蒸馏（ISD）解决了哪些问题？
ISD解决了Score Distillation Sampling中的过饱和和过平滑问题，显著提高了生成的3D对象质量。
StableDreamer方法的主要贡献是什么？
StableDreamer通过解决多面几何问题，生成高保真的3D模型并稳定收敛，提升了生成质量。
分类器分数蒸馏（CSD）方法的创新点是什么？
CSD方法使用隐式分类模型进行生成，验证了在多种文本到3D任务中的有效性，提供了新的视角。
