洗牌视觉变换器:轻量级、快速和高效的驾驶员面部表情识别

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文介绍了一种基于Transformer编码器的方法,用于将视频中的头部运动和面部表情转移到源图像的外观。该方法实现了跨再现,适用于不同的人,具有良好的泛化能力。在运动传输质量和时间一致性方面表现出卓越性能。

🎯

关键要点

  • 本文介绍了一种基于Transformer编码器的方法,用于将视频中的头部运动和面部表情转移至源图像的外观。
  • 该方法适用于不同的人,具有良好的泛化能力,能够实现跨再现。
  • 我们使用基于Transformer的解码器预测查询像素的输出颜色,受到关键点和面部表情向量的条件影响。
  • 以自监督的方式学习源人物的潜在表示,分解外观、头部角度和面部表情,适合跨再现。
  • 方法自然扩展到多个源图像,并适应个人特定的面部动态。
  • 提出了数据增强和正则化方案,以防止过拟合并支持学习表示的泛化能力。
  • 在随机用户研究中评估方法,结果显示在运动传输质量和时间一致性方面表现卓越。
➡️

继续阅读