VASA-1：实时生成栩栩如生的音频驱动说话人脸

本文介绍了一种基于音频信号的说话动画生成系统，能够生成个性化的逼真说话动画。

该系统通过提取深度音频特征，分析面部动态和姿态，最终生成逼真的面部细节。

使用独特的4D人脸数据集训练的神经网络VOCA，可以根据语音信号实现逼真的人脸动画，适用于游戏和虚拟现实等领域。

提出的VividTalk框架在唇语同步和丰富的面部表情方面超越了以往的技术，生成高视觉质量的语音驱动说话人视频。

通过输入单个面部图像和音频，生成富有表现力的谈话头像，显著提升生成头像的质量。

基于深度神经网络的方法能够在较少帧数的情况下生成高质量、自然的对话人脸视频。

利用大型语言模型指导的说话人脸生成系统，能够生成具有表情运动的生动说话人脸，实验证明其有效性。

提出的VA-TTS任务可以根据听者的语音和面部表情生成自然有节奏感的音频。

DIRFA方法通过基于Transformer的网络生成多样化但真实的面部动画，能够合成逼真的说话人脸。

基于2D口型视频和3D面部重构的3D面部动画模型，具有良好的泛化能力和高保真度，能够输出个性化的3D说话头像。