CP-EB: 可控姿势和眨眼的对话人脸生成嵌入
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该论文提出了一种生成具有可控面部动作的谈话面孔的方法,通过建立规范空间和多模态运动空间,使用正交性约束分离身份和运动,实现了外观自然、具有完全可控面部属性和准确的唇部同步。实验证明,该方法在视觉质量和唇同步得分方面取得了最先进的结果,是第一个能够准确展示包括唇部、头部姿势和眼动等所有目标面部运动的谈话面孔生成框架,无需额外的RGB视频和音频监督。
🎯
关键要点
-
该论文提出了一种生成具有可控面部动作的谈话面孔的方法。
-
通过建立规范空间和多模态运动空间,使用正交性约束分离身份和运动。
-
实现了外观自然、具有完全可控面部属性和准确的唇部同步。
-
实验证明,该方法在视觉质量和唇同步得分方面取得了最先进的结果。
-
这是第一个能够准确展示包括唇部、头部姿势和眼动等所有目标面部运动的谈话面孔生成框架。
-
该方法无需额外的RGB视频和音频监督。
➡️