基于物体中心体素化和神经渲染的动态场景理解
原文中文,约400字,阅读约需1分钟。发表于: 。我们提出了一个名为 DynaVol-S 的三维生成模型,在可微分的体素渲染框架中能够实现基于物体的学习,通过物体中心的体素化来捕捉场景的三维特性,并通过反向渲染管道中的组合 NeRF 来优化这些体素特征。同时,我们的方法整合二维语义特征,创建三维语义网格,通过多个解耦的体素网格来表示场景。DynaVol-S...
我们提出了DynaVol-S,一个三维生成模型,能够在可微分的体素渲染框架中实现基于物体的学习。通过体素化物体中心来捕捉场景的三维特性,并通过反向渲染管道中的组合NeRF来优化这些体素特征。我们的方法整合二维语义特征,创建三维语义网格,通过多个解耦的体素网格来表示场景。DynaVol-S在动态场景的新视图合成和无监督分解任务中明显优于现有模型,通过同时考虑几何结构和语义特征,它有效地应对复杂物体交互的实际场景。此外,训练完成后,这些有明确意义的体素特征还使得我们能够实现2D场景分解方法无法实现的额外功能,比如通过编辑几何形状或操纵物体的运动轨迹来生成新的场景。