Video2Game:基于单个视频实时、交互、逼真和兼容浏览器的环境

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文提出了一个新的框架,用于从野外视频中重建人体和场景,并提供新的人体姿势和视角渲染的方法。通过训练两个NeRF模型,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。该方法能够从仅10秒的视频剪辑中学习特定主题的细节,并提供高质量的人体渲染和背景。

🎯

关键要点

  • 提出了一个新的框架,用于从野外视频中重建人体和场景。
  • 该框架在单个视频上提供新的人体姿势和视角渲染的方法。
  • 通过训练两个NeRF模型(human和scene)来实现。
  • 依赖现有方法估计人体和场景的大致几何形状。
  • 从观察空间创建到无关姿态的规范空间的偏移场。
  • 在规范空间中训练人体模型。
  • 能够从仅10秒的视频剪辑中学习特定主题的细节。
  • 提供高质量的人体渲染和背景,包括服装褶皱和配件。
➡️

继续阅读