本文介绍了一种基于音频驱动的三维面部动画模型,采用交叉模态学习和多语种增强技术,提升了面部表情的同步性和生成质量。该模型具有良好的泛化能力,能够捕捉个体的讲话风格,适用于游戏和虚拟现实等领域。实验结果表明,其在唇语同步和动画质量方面优于现有方法。
该文综述音频驱动说话人脸生成技术,涵盖学习分解的视听表示、三维面部动画、姿势可控对话脸、AMIE视听一致性、DIRFA多样化动画、3DiFACE扩散模型及FaceTalk三维头部运动合成等方法,实现唇形同步、表情与姿态控制,并在多个数据集上优于基线。
本文介绍了一种改善语音驱动的三维面部动画的方法,通过考虑面部运动的复合性和局部性,使用自适应调制模块来实现动画的改进。同时,提出了一种非自回归骨干结构将音频转化为三维面部动作。该方法在定性和定量上优于当代最先进的方法。
完成下面两步后,将自动完成登录并继续当前操作。