BriefGPT - AI 论文速递
·
揭示口型不一致的唇同步深度伪造技术
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
StyleLipSync是一个基于风格的个性化唇形同步视频生成模型，可以从任意音频生成与身份无关的唇形同步视频。该模型利用预先训练的StyleGAN生成具有任意身份的视频，引入了姿态感知掩蔽和少量样本的适应方法，提高过帧自然性和泛化性。实验证明，该模型可以生成准确的唇形同步视频，甚至在零样本设置下增强看不见的面部特征。
🎯
关键要点
- StyleLipSync是一个基于风格的个性化唇形同步视频生成模型。
- 该模型可以从任意音频生成与身份无关的唇形同步视频。
- 模型利用预先训练的StyleGAN生成具有任意身份的视频。
- 引入姿态感知掩蔽以提高过帧自然性。
- 提出少量样本的唇形同步适应方法，增强泛化性和个人特定视觉信息。
- 实验证明模型可以生成准确的唇形同步视频，甚至在零样本设置下增强看不见的面部特征。
🏷️
标签
➡️
