利用非正式单眼视频创建可控制的人像
内容提要
该文综述基于3D高斯喷洒的人体化身技术，包括：从单目视频创建可动画化身，训练和推理分别提速400倍和250倍；D3GA实现实时可控人体渲染；HeadGaS用于头部重建与动画，性能超基线约2dB；GaussianAvatars实现表情、姿势、视角全控头像；CoGS支持动态场景实时操控；PV3D合成多视角一致肖像视频。
延伸解读
技术路线：从单目视频到可动画化身
文章综述了基于3D高斯喷洒（3DGS）的人体化身技术，核心是从单目视频创建可动画化身。通过非刚性变形网络和正则化，训练和推理速度分别提升400倍和250倍，性能媲美甚至超越现有方法。这为低成本、高效率的化身创建提供了新思路。
实时可控渲染的进展与代表工作
D3GA是首个使用高斯点渲染的可控人体模型，以实时帧率渲染逼真人体，采用笼状形变替代传统LBS，用关节角度和关键点驱动，在九个实验对象上质量优于现有方法。HeadGaS则专注于头部重建与动画，实时推理超过基线约2dB，渲染速度加速10倍以上。
全控头像与动态场景操控
GaussianAvatars利用3D高斯曲面和参数化脸部模型，实现表情、姿势、视角全控的逼真头像。CoGS方法可直接操纵场景元素，实时控制动态场景，视觉保真度优于现有动态和可控神经表示。这些工作推动了高交互性虚拟体验的发展。
多视角一致性与自动化制作
PV3D是首个生成多视角一致肖像视频的框架，通过运动层和摄像机条件策略支持动画静态肖像等应用。此外，文章还提及一个使用RGB-D自拍相机的全自动系统，通过两阶段帧选择和3DMM拟合，从多视角数据恢复面部几何，制作高保真数字人头。
Q&A
如何从单目视频创建可动画的人体化身？
使用3D高斯喷洒（3DGS）技术，通过学习非刚性变形网络和引入不同性的正则化，从单目视频中创建可动画的人体化身。该方法在训练和推理速度上比现有技术分别快400倍和250倍，并实现了与最先进方法相媲美甚至更好的性能。
D3GA是什么？它有什么特点？
D3GA是可驾驶的三维高斯化身模型，是第一个使用高斯分布点渲染的人体三维可控模型。它使用3DGS技术以实时帧率渲染逼真的人体，使用密集标定的多视角视频作为输入，并采用笼状形变方法变形形状，使用关节角度和关键点驱动。在九个不同实验对象上获得了比现有最先进方法更高质量的结果。
HeadGaS模型在头部重建和动画方面表现如何？
HeadGaS模型使用3DGS进行三维头部重建和动画，利用可学习的潜在特征扩展3DGS的显式表示，并与参数化头部模型的低维参数线性融合，实现表情相关最终颜色和不透明度值。实验证明，HeadGaS在实时推理帧率方面取得了最先进的结果，超过基线约2dB，并将渲染速度加速至10倍以上。
GaussianAvatars能实现哪些控制？
GaussianAvatars使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，用于创建在表情、姿势和视角方面可完全控制的逼真头像。
CoGS方法有什么优势？
CoGS方法可以直接操纵场景元素，实现对动态场景的实时控制，且在视觉保真度方面始终优于现有的动态和可控神经表示方法。
PV3D是什么？它有什么应用？
PV3D是第一种生成性框架，可以合成多视角一致的肖像视频。它通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。
