基于视频的姿势调节化身

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。

🎯

关键要点

  • 提出了一个新的框架,用于从野外视频中重建人体和场景。
  • 该框架在单个视频上提供新的人体姿势和视角渲染的方法。
  • 通过训练两个 NeRF 模型(human 和 scene)来实现重建。
  • 依赖现有方法估计人体和场景的大致几何形状。
  • 创建从观察空间到无关姿态的规范空间的偏移场。
  • 在规范空间中训练人体模型。
  • 能够从仅 10 秒的视频剪辑中学习特定主题的细节。
  • 提供高质量的人体渲染和背景,包括服装褶皱和配件。
➡️

继续阅读