JEAN: Audio-Guided Joint Expression and NeRF-Based Talking Face Generation
原文英文，约100词，阅读约需1分钟。发表于：。本研究解决了现有方法在生成谈话面孔时难以同时保持说话者身份和真实面部表情的问题。提出了一种基于 NeRF 的网络，通过自监督学习提取音频特征，并采用对比学习方法，确保音频特征与口部运动的对齐，同时拆分与面部其他肌肉运动无关的部分。研究结果表明，该方法能够合成高保真度的谈话面孔视频，并在面部表情转移和口型同步方面达到最新的技术水平。
本研究提出了一种基于NeRF的网络，通过自监督学习提取音频特征，并采用对比学习方法，确保音频特征与口部运动的对齐，同时拆分与面部其他肌肉运动无关的部分。研究结果表明，该方法能够合成高保真度的谈话面孔视频，并在面部表情转移和口型同步方面达到最新的技术水平。
