JoyGen：音频生成逼真的3D说话人脸视频
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
本文介绍了JoyGen框架，该框架通过130小时中文视频数据集解决了音频与唇部动作的同步及视觉质量问题，推动了AIGC领域的发展。
🎯
关键要点
- JoyGen框架通过130小时中文视频数据集解决音频与唇部动作的同步及视觉质量问题。
- JoyGen是一个音频驱动的嘴型视频编辑框架，采用两阶段方法生成说话人脸视频。
- 第一阶段利用3D重建模型和音频驱动的动作生成模型预测身份和表情系数。
- 构建了一个包含130小时高质量中文视频的数据集，确保数据质量通过严格筛选。
- 采用流增强变分自编码器学习音频与面部动作的映射关系。
- 在训练过程中使用L1损失函数，确保潜在空间和图像空间的细节捕捉。
- 实验结果表明，JoyGen在音频嘴型同步和视觉质量方面表现优越。
- 与其他方法比较，JoyGen在HDTF数据集和自收集数据集上均表现出色，FID得分最低。
❓
延伸问答
JoyGen框架的主要功能是什么？
JoyGen框架主要用于生成音频驱动的3D说话人脸视频，解决音频与唇部动作的同步及视觉质量问题。
JoyGen是如何处理音频与面部动作的关系的？
JoyGen采用流增强变分自编码器学习音频与面部动作的映射关系，通过3D重建模型和音频驱动的动作生成模型进行预测。
JoyGen使用了什么样的数据集进行训练？
JoyGen使用了一个包含130小时高质量中文视频的数据集，该数据集经过严格筛选，确保数据质量。
JoyGen在实验中表现如何？
实验结果表明，JoyGen在音频嘴型同步和视觉质量方面表现优越，FID得分最低。
JoyGen的训练过程中使用了哪些损失函数？
在训练过程中，JoyGen使用了L1损失函数，以确保潜在空间和图像空间的细节捕捉。
JoyGen与其他方法相比有什么优势？
JoyGen在HDTF数据集和自收集数据集上均表现出色，唇音同步和视觉质量均优于其他方法。
➡️
