将高斯函数对齐:使用动态三维高斯函数和组合扩散模型的文本到四维转换
原文中文,约400字,阅读约需1分钟。发表于: 。通过使用得分蒸馏方法,我们在尚未充分开发的文本到四维场景设置中,通过引入额外的时间维度,利用文本引导的四维化方法合成动态、动画的三维物体。我们的方法将文本到图像、文本到视频和三维全景扩散模型结合起来,以在四维物体优化过程中提供反馈,从而同时强化时间一致性、高质量的视觉外观和逼真的几何形状。
通过Dream-in-4D方法,使用扩散生成模型从文本和图像生成动态的3D场景。该方法通过学习静态资源、形变分离和视频扩散指导的运动来提高生成效果。用户偏好研究证明了该方法在图像质量、动态一致性和文本保真度方面的显著提高。该方法还可用于可控的生成任务。