面部表情感知的 XR 应用中 HMD 移除的视频修复技术
原文中文,约400字,阅读约需1分钟。发表于: 。基于生成对抗网络(GANs)的表情感知视频修复(EVI-HRnet)网络通过使用用户的面部关键点和单一无遮挡参考图像,有效地填补头戴式显示器屏蔽的信息,并通过引入面部表情识别损失函数实现情感保留,从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份,并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法,无需额外的硬件,有潜力增强各种协作的扩展性应用。
虚拟现实具有身临其境的社交互动潜力。研究发现头显摄像头与模型差异导致实时模型性能下降。提出了一个系统设计,包括迭代优化模块和图像转换模块,以改善图像样式转换和领域差异移除。实验证实了该方法的准确性和效率。