基于对抗蒸馏的计算机辅助设计:逼真三维生成
原文中文,约400字,阅读约需1分钟。发表于: 。利用预训练扩散模型的一种新型学习方法,直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模,从而实现了高保真度和逼真度的三维内容生成,条件为单张图像和提示。通过利用生成对抗网络(GANs)的潜在空间和表达力丰富的扩散模型先验,我们的方法促进了各种三维应用,包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明,与以往的工作相比,我们的流程在生成质量和多样性方面表现出更强的优势。
过去十年中,3D生成技术迅速发展,得益于生成建模领域的进步。最近的研究表明,扩散过程与策略梯度方法兼容,并通过美学评分函数改进了2D扩散模型。该研究展示了美学评分器在基于SDS的方法中的有效性,并利用DDPO方法改进了从2D扩散模型获得的3D渲染质量。这是第一种将策略梯度方法扩展到基于得分的3D渲染的方法,并对SDS-based方法进行了改进。该方法与基于得分蒸馏的方法兼容,可以融入各种奖励函数。