Comp4D: 基于 LLM 的组合 4D 场景生成
内容提要
本文提出了Dream-in-4D方法，利用扩散生成模型从文本和图像生成动态3D场景。该方法通过高质量静态资源、可变形神经光辐射场和多分辨率特征网格实现运动分离，显著提升了图像质量和动态一致性，支持基于实际场景的生成，增强用户控制，适用于文本到4D、图像到4D等任务。
延伸解读
运动分离表示的实际意义
Dream-in-4D 通过可变形神经光辐射场将静态外观与形变分离，并利用多分辨率特征网格和位移总变差损失学习运动。这种分离使得外观可由一个或多个图像定义，而无需修改运动学习阶段，从而支持可控生成。对于需要调整场景外观但保持运动不变的应用，这一特性提供了便利。
统一框架覆盖多任务
该方法首次提供统一方法用于文本到4D、图像到4D和个性化4D生成任务。用户偏好研究显示，与基线相比，在图像质量、动态一致性和文本保真度方面有显著提升。这意味着同一套模型可适应不同输入条件，减少了为每个任务单独设计流程的需要。
与同期工作的定位差异
文章提及4DGen、CG3D、ComboVerse等同期工作，它们分别采用动态3D高斯、显式高斯辐射场或组合多个模型。Dream-in-4D 强调运动分离表示和基于实际场景的生成，增强用户控制。读者可关注其在动态一致性和控制灵活性上的侧重，而非单纯追求生成规模。
Q&A
Dream-in-4D方法的主要功能是什么？
Dream-in-4D方法利用扩散生成模型从文本和图像生成动态3D场景。
该方法如何提高图像质量和动态一致性？
该方法通过高质量静态资源、可变形神经光辐射场和多分辨率特征网格实现运动分离，从而显著提高图像质量和动态一致性。
Dream-in-4D方法适用于哪些生成任务？
该方法适用于文本到4D、图像到4D等生成任务。
与基线方法相比，Dream-in-4D的优势是什么？
与基线方法相比，Dream-in-4D在图像质量、动态一致性和文本保真度方面显著提高。
用户如何控制生成的4D场景？
由于其运动分离表示，用户可以通过定义外观的图像来控制生成，无需修改运动学习阶段。
Dream-in-4D方法的创新之处在哪里？
该方法首次提供了一种统一的方法，用于文本到4D、图像到4D和个性化4D生成任务。
