扩散模型多样取样的斥力分数精馏
内容提要
本文提出了一种改进的3D生成方法，通过修改DDIM和引入得分蒸馏采样（SDS），有效提升了生成质量，解决了过度平滑和低多样性的问题。该方法结合逆向采样和分数蒸馏，在全景图像、视频和3D场景中展示了有效性，并在文本到3D生成任务中表现出色。
延伸解读
从DDIM到SDS：理论联系与改进
文章指出，通过修改DDIM，可以消除3D生成中的过度平滑，保留高频细节，使生成质量接近2D采样器。同时，研究发现SDS可视为广义的DDIM生成过程，这为理解2D与3D生成之间的关系提供了新视角。这种理论联系有助于开发更高效的3D生成方法，无需额外训练神经网络或多视图监督。
提升多样性的关键方法：FSD与SSD
流分数蒸馏（FSD）方法通过创新的噪声抽样，显著增强了生成的多样性而不损害质量。稳定评分蒸馏（SSD）则协调了模式分离、模式寻找和方差降低三个组成部分，有效避免了过度平滑和过饱和问题。这些方法共同解决了3D生成中多样性与质量难以兼顾的挑战。
跨样本一致性：CSD与SVGD的应用
基于CSD的新方法利用SVGD将多个样本视为“粒子”进行更新，并组合它们的评分函数以同步蒸馏一组图像的生成先验。这促进了2D图像信息的无缝集成，在全景图像、视频和3D场景等任务中提高了交叉样本一致性，展示了处理多模态生成任务的潜力。
策略梯度与奖励引导：DDPO3D的扩展
DDPO3D将策略梯度方法扩展到基于得分的3D渲染，利用美学评分器作为强指导，改进了从2D扩散模型获得的3D渲染质量。这是首次将策略梯度方法扩展到基于得分的3D渲染，并显示了对SDS-based方法（如DreamGaussian）的改进，且与各种奖励函数兼容。
Q&A
什么是得分蒸馏采样（SDS）？
得分蒸馏采样（SDS）是一种优化图像扩散模型的生成过程的方法，通过结合创新的噪声抽样和流分数蒸馏（FSD）技术，显著增强生成的多样性。
如何通过修改DDIM改善3D生成质量？
通过修改DDIM，消除了3D生成中的过度平滑，保留了高频细节，使生成质量接近于2D采样器。
CSD方法在生成任务中有什么优势？
CSD方法利用SVGD将多个样本视为“粒子”进行更新，促进了2D图像信息的无缝集成，提高了跨样本的一致性。
稳定评分蒸馏（SSD）方法的主要功能是什么？
稳定评分蒸馏（SSD）方法有效协调模式分离、模式寻找和方差降低三个组成部分，实现高质量的3D内容生成。
DDPO3D方法如何改进3D渲染质量？
DDPO3D方法将策略梯度方法扩展到基于得分的3D渲染，显示了对SDS-based方法的改进，提升了渲染质量。
随机变量的粒子变分打分抽样方法的优势是什么？
该方法在保证样本质量和多样性的同时，避免了过饱和、过平滑和低多样性的问题，生成高保真渲染效果的三维网格。
