3DFacePolicy:基于语音驱动的扩散策略三维面部动画
原文中文,约200字,阅读约需1分钟。发表于: 。本研究解决了当前音频驱动的三维面部动画在生动性和情感表达方面的不足。提出的3DFacePolicy模型通过扩散策略预测3D顶点轨迹,从而生成多样化且真实的面部动作,能够更好地模仿真实人类的情感流动。实验结果表明,该方法在动态面部运动合成方面表现出色。
该研究提出了一种使用扩散模型和基于Transformer的轻量级U-Net实现的语音驱动的3D面部动画方法,通过交叉模态对齐偏差和引入BlendVOCA数据集来增强唇部同步性,并简化动画编辑过程。实验结果表明,该方法在唇部同步性上与基线方法相当或更出色。