CHASE：基于稀疏输入的3D一致性人类头像生成
内容提要
本文介绍了AvatarGen方法，该方法利用2D图像生成高保真度可控人体动画。通过结合3D高斯分布点技术，显著提高了训练和推理速度，并在多视角视频中实现高质量重建。此外，研究提出的新型流程有效解决了多视角方法在密切交互人群姿态估计中的困难，提升了鲁棒性和精度。实验结果表明，该方法在几何和外观重建上达到了先进水平。
延伸解读
技术演进：从AvatarGen到D3GA
文章梳理了人体化身生成的技术发展脉络。AvatarGen作为首个仅用2D图像训练的方法，实现了高保真可控动画。随后，D3GA将3D高斯分布点技术引入人体建模，以实时帧率渲染逼真人体，并采用笼状形变替代传统线性融合蒙皮，使用关节角度和关键点驱动，在九个实验对象上取得了优于现有方法的结果。
效率突破：3D高斯喷洒带来的速度提升
基于3D高斯喷洒（3DGS）的方法在训练和推理速度上实现了显著提升。例如，一种从单目视频创建可动画化身的方法，通过学习非刚性变形网络和引入不同性正则化，训练速度比现有技术快400倍，推理速度快250倍，同时性能媲美甚至超越最先进方法。另一项工作将高保真人类角色嵌入三角网格，在现代GPU上达到每秒300帧，移动设备上达到每秒30帧。
应用挑战：多视角与单目视频的鲁棒性
文章指出了多视角方法在密切交互人群姿态估计中的困难，如遮挡和身体接触导致2D关节点估计不准。为此，有研究利用个体的隐式神经虚拟化身作为先验，显著提高了姿态估计的鲁棒性和精度。此外，从单目视频重建照片真实感可动画头像时，细节重建存在缺陷，SG-GS方法通过引入语义嵌入的3D高斯、骨架驱动刚性变形和非刚性布料动态变形，并设计语义人体标注器，在几何和外观重建上达到先进水平。
Q&A
AvatarGen方法的主要创新是什么？
AvatarGen方法是第一种仅使用2D图像训练生成高保真度可控人体动画的方法。
该方法如何提高训练和推理速度？
该方法结合了三维高斯分布点技术，显著提高了训练和推理速度。
AvatarGen在多视角视频中的表现如何？
在多视角视频中，该方法实现了高质量重建，解决了密切交互人群姿态估计中的困难。
实验结果显示该方法的性能如何？
实验结果表明，该方法在几何和外观重建上达到了先进水平。
该研究如何解决密切交互人群的姿态估计问题？
研究提出了一种新颖的方法，通过个体的隐式神经虚拟化身作为先验，显著提高了姿态估计的鲁棒性和精度。
SG-GS方法的主要特点是什么？
SG-GS方法通过引入语义嵌入的3D高斯和骨架驱动的刚性变形，提升了细节重建的精确度。
