基于视频的姿势调节化身
原文中文,约300字,阅读约需1分钟。发表于: 。通过神经放射场(NeRF)驱动底层骨骼,现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配,我们的网络在保留细节和泛化能力方面优于现有的方法。
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。