DEEPTalk:基于语音驱动的动态情感嵌入3D面部动画
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对现有基于语音的3D面部动画在捕捉情感细微差别方面的不足,提出了DEEPTalk,一个生成多样且富有情感的3D面部表情的新方法。通过采用动态情感嵌入和层次化的运动先验,DEEPTalk能够有效地捕捉语音中的情感不确定性,显著提升面部动画的表现力和多样性,推动用户互动的加强。
本研究提出了高效的言语生成框架EDTalk,可分解面部动态并进行个别操作,根据视频或音频输入进行条件设置。通过三个轻量级模块将面部动态分解为嘴部、姿势和表情三个独立潜在空间,并利用可学习的基向量对每个空间内的特定运动进行定义。实验证明了EDTalk的有效性。