CP-EB: 可控姿势和眨眼的对话人脸生成嵌入

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该论文提出了一种生成具有可控面部动作的谈话面孔的方法,通过建立规范空间和多模态运动空间,使用正交性约束分离身份和运动,实现了外观自然、具有完全可控面部属性和准确的唇部同步。实验证明,该方法在视觉质量和唇同步得分方面取得了最先进的结果,是第一个能够准确展示包括唇部、头部姿势和眼动等所有目标面部运动的谈话面孔生成框架,无需额外的RGB视频和音频监督。

🎯

关键要点

  • 该论文提出了一种生成具有可控面部动作的谈话面孔的方法。
  • 通过建立规范空间和多模态运动空间,使用正交性约束分离身份和运动。
  • 实现了外观自然、具有完全可控面部属性和准确的唇部同步。
  • 实验证明,该方法在视觉质量和唇同步得分方面取得了最先进的结果。
  • 这是第一个能够准确展示包括唇部、头部姿势和眼动等所有目标面部运动的谈话面孔生成框架。
  • 该方法无需额外的RGB视频和音频监督。
➡️

继续阅读