BriefGPT - AI 论文速递
·
JEAN：基于音频引导的联合表情与 NeRF 的谈话面孔生成
💡
原文中文，约700字，阅读约需2分钟。
📝
内容提要
本研究提出了一种基于NeRF的网络，通过自监督学习提取音频特征，并采用对比学习方法，确保音频特征与口部运动的对齐，同时拆分与面部其他肌肉运动无关的部分。研究结果表明，该方法能够合成高保真度的谈话面孔视频，并在面部表情转移和口型同步方面达到最新的技术水平。
🎯
关键要点
- 本研究提出了一种基于NeRF的网络，解决了生成谈话面孔时保持说话者身份和真实面部表情的问题。
- 通过自监督学习提取音频特征，并采用对比学习方法，确保音频特征与口部运动的对齐。
- 该方法能够拆分与面部其他肌肉运动无关的部分。
- 研究结果表明，该方法能够合成高保真度的谈话面孔视频。
- 在面部表情转移和口型同步方面，该方法达到了最新的技术水平。
➡️
