GHARP：基于大规模重建先验的实时高斯头部动画
内容提要
GHARP提出一种实时3D人头动画方法：离线构建身份几何与外观表示，运行时用轻量网络预测表情残差，并在预训练重建模型的语义潜空间中融合多视角。针对表情信号缺失身体姿态与衣物信息导致的模糊与闪烁，引入身体对齐网络消除歧义。该方法在Ava-256上取得最优质量，在A100上快13倍，高斯数量少8倍。
延伸解读
两阶段设计：离线身份与实时动画的权衡
GHARP将问题拆分为离线身份构建和运行时动画两个阶段。身份阶段可以承受较高计算成本，以建立准确的几何与外观表示；动画阶段则使用轻量网络预测表情残差，专为移动设备优化。这种分离在保真度、质量和运行时间之间取得有利权衡，使实时动画成为可能，同时不牺牲身份细节。
语义潜空间中的残差预测与多视角融合
方法在预训练重建模型的语义结构化潜空间中执行动画，表情变化在空间上保持局部化，使残差预测更高效。该重建先验提供一致的空間布局，允许将多个输入视角融合为紧凑的固定大小规范高斯表示。这既提升了质量，也减少了高斯数量，为实时性能奠定基础。
身体对齐网络解决表情信号缺失的歧义
仅由表情驱动的化身方法存在共性问题：表情编码只描述面部，不包含身体姿态和衣物位置，导致这些区域在输入中欠定义。动画网络面临不适定映射，只能对冲突的身体外观取平均，产生模糊和时间闪烁。GHARP引入身体对齐网络，学习将目标图像中的人物身体与输入参考图像对齐，从训练信号中消除歧义，从而提升视觉稳定性。
性能与质量：Ava-256上的最优表现
在Ava-256基准上，GHARP取得了最先进的质量，同时在A100 GPU上运行速度提升高达13倍，且高斯数量减少8倍。这表明该方法在保持高质量的同时显著降低了计算和存储需求，适合实时应用场景，如移动端虚拟化身。
Q&A
GHARP是什么？它主要解决什么问题？
GHARP是一种实时3D人头动画方法，能够从少量输入图像和驱动表情信号中实时生成逼真的人头动画。它主要解决在移动设备上实现高质量、实时人头动画的难题，通过将问题解耦为离线身份构建和运行时轻量动画两个阶段来平衡质量与速度。
GHARP是如何实现实时人头动画的？
GHARP将问题分为两个阶段：身份阶段离线构建受试者的几何与外观表示；动画阶段在运行时使用轻量网络预测表情相关的残差。动画在预训练重建模型的语义潜空间中进行，使表情变化保持空间局部性，从而高效预测残差。
GHARP中的身体对齐网络有什么作用？
身体对齐网络用于解决表情驱动方法中身体姿态和衣物位置缺失导致的模糊与闪烁问题。它学习将目标图像中的人物身体与输入参考图像对齐，从而消除训练信号中的歧义，提升动画质量。
GHARP在性能和效率方面有哪些优势？
在Ava-256基准上，GHARP达到了最先进的动画质量，同时在A100 GPU上运行速度最高快13倍，且所需高斯数量少8倍。这表明它在保持高质量的同时显著提升了效率。
GHARP如何处理多视角输入？
GHARP在预训练重建模型的语义潜空间中进行动画，该空间提供一致的 spatial layout，允许将多个输入视角融合成一个紧凑的固定大小的规范高斯表示。
GHARP的动画阶段为什么适合移动设备？
因为动画阶段仅运行一个轻量网络，该网络经过优化，专为移动设备设计，能够在运行时高效预测表情残差，从而实现实时动画。
