VRMM: 一个体积光源可变的可塑头部模型
内容提要
本文提出一种从单目RGB视频学习高质量隐式三维头像的方法，结合参数化人脸模型、几何先验与神经辐射场，实现表情和头部姿态控制及逼真渲染。该方法在UV空间使用卷积网络整合空间上下文，生成局部特征，重建出表情细节更准确、泛化性更强的头像，优于现有方法。
延伸解读
技术路径：参数化模型与神经辐射场的结合
该方法将参数化人脸模型（3DMM）与神经辐射场结合，利用3DMM的动态跟踪提供几何先验，并通过在3DMM几何上锚定的局部特征来预测体积辐射。这种设计既保留了3DMM对表情和姿态的可控性，又借助神经辐射场实现光线真实感渲染，为单目视频重建高质量头像提供了新思路。
关键设计：UV空间卷积网络的作用
文章强调在UV空间使用卷积神经网络是关键，能够整合空间上下文并产生代表性的局部特征。相比直接在3D空间操作，UV空间卷积更高效地捕捉面部细节的关联性，从而提升表情依赖细节的重建精度，并增强对训练外表情的泛化能力。
性能表现：更准确的表情细节与泛化性
大量实验表明，与现有最先进方法相比，该方法能重建高质量头像，具有更准确的表情依赖细节，更好地推广到训练之外的表情，并实现优秀的渲染效果。这得益于几何先验与神经辐射场的结合，以及UV空间卷积对局部特征的强化。
Q&A
VRMM 是什么？它有什么主要功能？
VRMM 是一种从野外拍摄的单目 RGB 视频学习高质量隐式三维头像的方法。它通过参数化人脸模型驱动头像，实现用户控制的面部表情和头部姿态，并使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感。
VRMM 如何实现头像的表情和姿态控制？
VRMM 通过参数化人脸模型（3DMM）驱动头像，利用 3DMM 的动态跟踪和几何先验，结合神经辐射场，在 3D 空间中插值产生指定查询点的体积辐射，从而实现对表情和头部姿态的细粒度控制。
VRMM 在技术上的关键创新点是什么？
关键创新点是在 UV 空间使用卷积神经网络整合空间上下文并产生代表性的局部特征，这些特征锚定在 3DMM 几何上，用于预测体积辐射，从而重建高质量头像。
VRMM 相比其他方法有什么优势？
大量实验表明，VRMM 能重建高质量的头像，具有更准确的表情依赖细节，更好地推广到训练之外的表情，并且渲染效果优秀。
VRMM 需要什么样的输入数据？
VRMM 需要野外拍摄的单目 RGB 视频作为输入数据。
VRMM 使用了哪些核心技术组件？
VRMM 使用了参数化人脸模型（3DMM）、几何先验、神经辐射场，以及在 UV 空间中的卷积神经网络来整合空间上下文和生成局部特征。
