GEA：从单目视频中重建表达丰富的 3D 高斯化身
内容提要
本文综述了基于3D高斯泼溅的人体化身建模进展。GaussianAvatar从单视频创建动态3D化身，联合优化动作与外观；GaussianAvatars实现表情、姿态、视角全控；D3GA用笼状形变实现实时可驱动人体渲染；其他方法将训练与推理提速数百倍，并支持文本生成化身、单次前向重建头像，兼顾高保真与渲染效率。
延伸解读
单目视频化身建模的挑战与突破
从单目视频重建3D人体化身面临运动估计不准确、外观与动作耦合等难题。GaussianAvatar通过可动画化的3D高斯函数显式表示人体，并设计动态外观网络学习运动到外观的映射，同时利用可微分运动条件联合优化动作与外观，从而在单眼设置下提升重建的准确性和一致性。
高斯泼溅技术带来的效率飞跃
3D高斯泼溅（3DGS）因其显式表示和高效渲染，成为人体化身建模的新方向。文章提到，基于3DGS的方法在训练和推理速度上比现有技术分别快400倍和250倍，同时保持与最先进方法相当甚至更好的性能。D3GA更是实现了实时帧率渲染，为通信等应用提供了可能。
多样化应用与未来方向
除了从视频重建，高斯化身技术还支持文本生成化身、单次前向重建头像等应用。GPAvatar能在单次前向传递中从一张或多张图像重建3D头像，实现精确表情控制和多视角一致性。这些进展表明，高斯泼溅正推动虚拟角色创建向更高效、更灵活的方向发展。
Q&A
GaussianAvatar 是什么？它有什么主要特点？
GaussianAvatar 是一种从单个视频中创建具有动态 3D 外观的逼真人类化身的高效方法。它通过引入可动画化的 3D 高斯函数来明确表示各种姿势和服装风格的人类，并增强了动态属性以支持姿势相关的外观建模，设计了一个动态外观网络和可优化特征张量来学习运动到外观的映射。此外，它利用可微分的运动条件，在化身建模过程中使得动作和外观能够进行联合优化，有助于解决单眼设置中不准确的运动估计问题。
GaussianAvatars 如何实现表情、姿势和视角的完全控制？
GaussianAvatars 使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型，从单目肖像视频中学习具有高效变形能力和渲染效率的头像。它使用三维高斯点表示和高斯变形场学习显式头像，通过适应性形状的高斯点和高斯变形场实现与目标姿态和表情相对应的运动，进而实现高效的变形。高斯点具有可控的形状、大小、颜色和透明度，结合高斯点渲染技术，提高了训练和渲染的效率。
D3GA 是什么？它与其他可驾驶化身方法有何不同？
D3GA 是可驾驶的三维高斯化身模型，是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试（或两者都需要）不同，D3GA 使用三维高斯分布点技术（3DGS）以实时帧率渲染逼真的人体，使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法（LBS）不同，它使用经典的容积形变方法（笼状形变）来变形形状，并使用关节角度和关键点驱动这些形变。
有哪些方法可以加速人体化身建模的训练和推理？
一种方法使用 3D 高斯喷洒（3DGS）从单目视频中创建可动画化的人体化身，通过学习非刚性变形网络和引入不同性的正则化，在训练和推理速度上比现有技术分别快 400 倍和 250 倍。另一种方法使用高斯飞溅生成逼真的可动化虚拟角色，具有极快的渲染速度（100 FPS）以及 1K 分辨率。
GPAvatar 框架有什么特点？
GPAvatar 框架通过引入一个由点云驱动的动态基于点的表情场，以及在三平面规范场中使用多三平面注意力（MTA）融合模块来利用多个输入图像的信息，可以在单次前向传递中从一个或多个图像中重建 3D 头像，实现忠实的身份重建，精确的表情控制和多视角一致性，并展示了自由视点渲染和新视角合成的有 promising 结果。
Animatable Gaussians 方法如何创建高保真动态化身？
Animatable Gaussians 方法通过引入 Animatable Gaussians 和强大的 2D CNNs 以及 3D 高斯样条插值方法，可以根据输入视频创建高保真度的动态逼真化身，实现虚拟人物的建模和动态外观生成。实验证明，与其他最先进的方法相比，该方法具有更好的性能。
