面部表情感知的 XR 应用中 HMD 移除的视频修复技术
内容提要
该文综述VR头显遮挡下的面部表情识别与修复技术，涵盖迁移学习、生成对抗网络、3D几何建模及实时动画管道等方法，可在遮挡条件下重建逼真个性化虚拟化身，提升VR社交沉浸感。
延伸解读
技术演进：从识别到修复的路径
文章梳理了2016至2024年间多项研究，显示技术从早期基于红外眼动推断表情，逐步转向利用生成对抗网络和3D几何进行面部修复。2020年后，研究更注重实时性与身份一致性，如18fps的实时转移和2024年针对市售头显的优化系统，反映了VR社交对逼真化身的需求驱动。
核心挑战：遮挡与域差异
头显遮挡导致面部关键区域缺失，同时头显摄像头与模型间的域差异会降低实时性能。文章指出，解决思路包括迁移学习适应遮挡数据、生成网络补全缺失区域，以及通过迭代优化和化身导向转换模块缩小域差异，从而提升重建准确度。
应用前景与性能权衡
这些技术旨在提升VR社交沉浸感，使个性化化身在遮挡下仍能准确表达表情。但文章也隐含了权衡：高逼真度可能依赖复杂模型，而实时性（如18fps）与高质量输出需平衡。此外，身份保持和多角度重构仍是持续优化的方向。
Q&A
VR头显遮挡面部时，如何实现面部表情识别？
可以使用迁移学习方法，在FER+和RAF-DB数据集上训练模型，并在根据实际遮挡情况修改的基准数据集上展示令人满意的识别结果。
有哪些深度学习方案可以修复VR头显遮挡的面部图像？
有基于生成对抗网络的图像修补方案，能够在大面积遮挡下实现多角度面部重构并保持身份特征；还有基于3D几何和生成对抗网络的架构，可近乎实时地转移面部表情、头部姿态和眼神。
如何利用VR头显的红外摄像头推断用户表情并生成虚拟头像？
通过红外监视器拍摄眼部图像，在遮挡部分面部的情况下自动推断用户表情，并生成动态虚拟头像作为表情代理，实验表明其准确度优于人类评估者。
FaceVR系统如何实现VR视频会议中的面部再现？
FaceVR基于自我再现，通过实时面部动作捕捉算法和单目视频的数据驱动方法，实现近乎逼真的成像效果，并能改变面部表情和目光方向。
VR面部动画的实时管道是如何工作的？
该管道从操作员的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论性能，适用于严格视图需求的VR面部动画。
头显摄像头与模型差异导致实时性能下降，如何解决？
提出一个系统设计，将问题分解为迭代优化模块和以化身为导向的图像转换模块，两个模块相互加强，通过展示接近真实的示例改善领域差异移除，高效产生高质量结果，无需昂贵的离线注册。
