Phy124:基于物理驱动的快速4D内容生成方法

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种名为4Diffusion的新型4D生成管道,通过结合可学习的运动模块和冻结的3D感知扩散模型,设计了一个统一的扩散模型来捕捉多视图空间时间相关性。实验证明,该方法具有更好的性能。

🎯

关键要点

  • 提出了一种新型4D生成管道,名为4Diffusion。

  • 4Diffusion旨在从单目视频中生成空间时间一致的4D内容。

  • 结合可学习的运动模块与冻结的3D感知扩散模型,设计了统一的扩散模型。

  • 该模型能够捕捉多视图空间时间相关性。

  • 在精心策划的数据集上训练,获得合理的时间一致性。

  • 保留了3D感知扩散模型的泛化性和空间一致性。

  • 提出了基于多视图视频扩散模型的4D感知得分蒸馏采样损失。

  • 优化由动态NeRF参数化的4D表示,消除多个扩散模型引起的差异。

  • 设计了锚点损失以增强外观细节并促进动态NeRF的学习。

  • 广泛的定性和定量实验证明该方法具有更好的性能。

➡️

继续阅读