Trans4D:面向组合文本到4D合成的真实几何感知过渡
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对现有4D生成方法在处理复杂对象变形及场景过渡交互方面的不足,提出了一种新的文本到4D合成框架Trans4D。该框架利用多模态大语言模型生成物理感知场景描述,以及几何感知的4D过渡网络,以实现高质量和准确的复杂场景过渡,实验证明其优于现有技术,具有显著影响。
Dream-in-4D方法利用扩散生成模型,从文本和图像生成动态3D场景。它通过学习高质量静态3D资源、形变分离的神经光辐射场,以及多分辨率特征网格和位移损失进行运动学习。研究显示,该方法在图像质量、动态一致性和文本保真度上优于其他方法,并支持可控生成,实现文本到4D、图像到4D和个性化4D生成。