本文提出Head3D网络,通过自监督学习从2D主体帧预测3D头部姿势与深度图,生成可解释的3D标准头部,并结合注意力融合网络整合背景细节,实现说话人视频动作迁移。在两个公开数据集上的实验表明,该方法在跨身份场景中优于2D和3D先前方法,并能适应受控姿态的新视图合成。
本研究提出了一种新颖的3D感知说话人视频动作迁移网络Head3D,通过生成可视化可解释的3D标准头部,从2D主体帧中充分利用主体外貌信息,以适应驱动视频帧对齐。实验结果表明Head3D在实际的跨身份设置中优于2D和3D先前方法。
完成下面两步后,将自动完成登录并继续当前操作。