揭示口型不一致的唇同步深度伪造技术
原文中文,约400字,阅读约需1分钟。发表于: 。本文描述了一种基于口腔不一致性(LIPINC)的新方法来检测唇同步深度伪造视频,通过识别口腔区域的时间不一致性,可以成功捕捉到这些不规则,相比现有的方法,在多个基准深度伪造数据集上表现更好。
StyleLipSync是一个基于风格的个性化唇形同步视频生成模型,可以从任意音频生成与身份无关的唇形同步视频。该模型利用预先训练的StyleGAN生成具有任意身份的视频,引入了姿态感知掩蔽和少量样本的适应方法,提高过帧自然性和泛化性。实验证明,该模型可以生成准确的唇形同步视频,甚至在零样本设置下增强看不见的面部特征。