BriefGPT - AI 论文速递 · 2024-02-28T00:00:00Z

G4G: 高保真细粒度语音人脸生成的通用框架

📝

内容提要

本文提出了一种利用深度生成模型和语音输入信号为静止面部图像添加动画的方法。通过多尺度音频视觉同步损失和多尺度自回归生成对抗网络，处理语音和头部以及嘴唇之间的短期和长期关联。实验结果表明，该方法在头部动作质量和多尺度音频视觉同步方面相较于最新技术有显著提高。

🏷️

标签

深度生成模型 自回归生成对抗网络 语音输入信号 面部图像 音频视觉同步