Vid3D：使用 2D 视频扩散合成动态 3D 场景

BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

本文介绍了一种名为4Diffusion的新型4D生成管道，通过结合可学习的运动模块和冻结的3D感知扩散模型，设计了一个统一扩散模型，以捕捉多视图空间时间相关性。通过训练扩散模型，获得了合理的时间一致性，并保留了3D感知扩散模型的泛化性和空间一致性。通过优化动态NeRF参数化的4D表示，实现了生成空间时间一致的4D内容。实验证明，该方法具有更好的性能。