SteinDreamer:通过 Stein 标识进行文本至 3D 分数提炼的方差减少
原文中文,约400字,阅读约需1分钟。发表于: 。通过方差约减的视角,本文揭示了分数蒸馏中的梯度估计与高方差之间的内在关系,并提出使用 Stein's identity 进行变量约减的方法,称为 Stein Score Distillation (SSD)。通过构建由 Stein identity 构造的控制变量,SSD 可以灵活地引入指导先验和网络结构以明确优化方差约减,实验结果表明 SSD...
过去十年中,3D生成技术迅速发展,得益于生成建模领域的进步。最近的研究表明,扩散过程与策略梯度方法兼容,并通过美学评分函数改进了2D扩散模型。该研究展示了美学评分器在基于SDS的方法中的有效性,并利用DDPO方法改进了从2D扩散模型获得的3D渲染质量。这是第一种将策略梯度方法扩展到基于得分的3D渲染的方法,并对SDS-based方法进行了改进。该方法与基于得分蒸馏的方法兼容,可以融入各种奖励函数。