本研究提出了一系列基于音频驱动的说话人脸生成方法，包括高保真NeRF技术、统一面部标记生成器和两阶段生成模型，旨在提高口型同步和视觉质量。通过自我监督学习和新颖的扩散模型，解决了现有模型在唇形同步和视觉细节保留方面的不足，实验结果显示性能优于现有技术。

本文综述音频驱动的逼真说话人脸生成技术，涵盖音频深度特征提取与面部动态姿态分析、视频帧的表情/几何/姿势参数分解及循环神经网络音频到表情参数的转换、单张肖像的三维头像重建与动画化、源演员表情迁移、关键点合成粗糙视频后经变形神经辐射场与盲人脸修复迭代生成可动画三维神经头像、单幅肖像生成三维卡通脸，以及OTAvatar（三平面渲染、35FPS）、Myportrait（结合个性化与三维形变先验、支持视频和音频驱动）、VividTalk（两阶段框架提升唇同步与表情质量）和记忆增强生成对抗网络生成自然对话人脸视频等方法。

本文综述情感语音驱动的说话人脸生成研究。DreamTalk采用两阶段扩散框架，结合EmoDiff生成动态情感与姿态，提升唇部同步，并可迁移至任意肖像。其他工作分别利用图卷积网络、多模态情感编码器、纹理几何感知扩散模型、EMOTE系统及GMTalker等，实现情感可控、高保真且音视频同步的面部动画，在生成质量、情感准确性和动作多样性上优于以往方法。