RIGID: 实时人脸视频的循环生成对抗网络还原和编辑

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过VIVE3D方法,我们扩展了基于图像的三维生成对抗网络的能力,使其能够在保持身份和时间一致的同时呈现输入视频。我们提出了两个新的构建块,包括针对三维生成对抗网络的新颖GAN反演技术和借助3D GANs的固有属性和光流引导合成技术显示头部的新视图的编辑。实验结果表明,VIVE3D能够以一致的质量生成高保真度的面部编辑,并与原始视频以时间和空间一致的方式合成。

🎯

关键要点

  • VIVE3D方法扩展了基于图像的三维生成对抗网络的能力。
  • VIVE3D能够在保持身份和时间一致的情况下呈现输入视频。
  • 提出了两个新的构建块:新颖的GAN反演技术和光流引导合成技术。
  • 新颖的GAN反演技术通过联合嵌入多个帧并优化相机参数实现。
  • 首次展示了借助3D GANs的固有属性进行的新视图头部编辑。
  • 实验结果表明,VIVE3D生成高保真度的面部编辑,并与原始视频一致。
➡️

继续阅读