RIGID: 实时人脸视频的循环生成对抗网络还原和编辑
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
通过VIVE3D方法,我们扩展了基于图像的三维生成对抗网络的能力,使其能够在保持身份和时间一致的同时呈现输入视频。我们提出了两个新的构建块,包括针对三维生成对抗网络的新颖GAN反演技术和借助3D GANs的固有属性和光流引导合成技术显示头部的新视图的编辑。实验结果表明,VIVE3D能够以一致的质量生成高保真度的面部编辑,并与原始视频以时间和空间一致的方式合成。
🎯
关键要点
- VIVE3D方法扩展了基于图像的三维生成对抗网络的能力。
- VIVE3D能够在保持身份和时间一致的情况下呈现输入视频。
- 提出了两个新的构建块:新颖的GAN反演技术和光流引导合成技术。
- 新颖的GAN反演技术通过联合嵌入多个帧并优化相机参数实现。
- 首次展示了借助3D GANs的固有属性进行的新视图头部编辑。
- 实验结果表明,VIVE3D生成高保真度的面部编辑,并与原始视频一致。
➡️