FSRT:基于分解外貌、头部姿势和面部表情特征的人脸再现的面部场景表示变换器

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

该文章介绍了一种基于Transformer编码器的方法,用于实现人脸再现任务。该方法能够将视频中的头部运动和面部表情转移到源图像的外观上,适用于不同的人。作者通过自监督学习源人物的潜在表示,将外观、头部角度和面部表情分解,实现跨再现。该方法能够自然地扩展到多个源图像,并适应个人特定的面部动态。作者还提出了数据增强和正则化方案,防止过拟合并提高学习表示的泛化能力。实验结果表明,该方法在运动传输质量和时间一致性方面具有卓越性能。

🎯

关键要点

  • 文章介绍了一种基于Transformer编码器的人脸再现方法。
  • 该方法能够将视频中的头部运动和面部表情转移到源图像的外观上,适用于不同的人。
  • 作者通过自监督学习源人物的潜在表示,实现外观、头部角度和面部表情的分解。
  • 该方法能够自然扩展到多个源图像,并适应个人特定的面部动态。
  • 提出了数据增强和正则化方案,以防止过拟合并提高学习表示的泛化能力。
  • 实验结果表明,该方法在运动传输质量和时间一致性方面具有卓越性能。
➡️

继续阅读