面部流动网络:通过多样化数据集和分解模型推进面部光流估计

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种基于Transformer编码器的方法,用于将视频中的头部运动和面部表情转移到源图像的外观。该方法实现了跨再现,适用于不同的人,并通过自监督学习源人物的潜在表示,分解了外观、头部角度和面部表情,具有良好的泛化能力。实验结果表明,该方法在运动传输质量和时间一致性方面表现优秀。

🎯

关键要点

  • 本文介绍了一种基于Transformer编码器的方法,用于将视频中的头部运动和面部表情转移至源图像的外观。

  • 该方法实现了跨再现,适用于不同的人。

  • 通过自监督学习源人物的潜在表示,分解了外观、头部角度和面部表情,具有良好的泛化能力。

  • 与大多数相关工作相比,该方法自然地扩展到多个源图像,并适应个人特定的面部动态。

  • 提出了必要的数据增强和正则化方案,以防止过拟合并支持学习表示的泛化能力。

  • 实验结果表明,该方法在运动传输质量和时间一致性方面表现优秀。

➡️

继续阅读