ProbTalk3D:基于语音驱动的情感可控非确定性3D面部动画合成
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了音频驱动的3D面部动画合成中情感表达缺失的问题,提出了一种非确定性的方法ProbTalk3D,利用双阶段VQ-VAE模型和情感丰富的面部动画数据集3DMEAD进行合成。研究表明,该模型在生成丰富情感状态的面部动画时 outperform 了现有的情感控制模型,展示了情感与随机性在生成过程中的重要性。
该文章介绍了一种通过语音合成3D面部动画的方法,使用广义神经参数面部特征(GNPFA)从视频中提取表情和头部姿势,并提出了Media2Face模型用于生成共语面部动画。实验证明该模型具有高保真性和表现力。