过去十年中，3D生成技术迅速发展，最近的研究表明扩散过程与策略梯度方法兼容，并通过美学评分函数改进了2D扩散模型。研究者开发了一种新的方法DDPO3D，结合了策略梯度方法和美学评分，用于改进基于得分的3D渲染。该方法与基于得分蒸馏的方法兼容，并可以融入各种奖励函数。