美团开源了LongCat-Video-Avatar 1.5数字人视频模型,提升了唇形同步、稳定性和多人互动能力。通过优化音频特征提取和数据处理,该模型在复杂场景中表现优异,生成效率提高15倍,适用于电商直播和教学等多种场景,推动数字人视频的实际应用。
美团龙猫LongCat发布了LongCat-Video-Avatar 1.5,提升了数字人视频模型的唇形同步、物理合理性和多人互动能力,支持复杂场景下的高质量内容输出,推理效率提升约15倍。团队希望通过开源推动数字人视频技术的发展。
携程数字人直播是一种通过数字人进行商品讲解和用户互动的新模式,已完成数千场直播。该模式结合音色复刻和唇形同步技术,克服了真人直播的局限性,具备高保真音色、实时互动和成本控制等优势。未来将持续完善功能,探索更多应用场景。
FaceFusion是一款强大的AI换脸软件,支持图片、视频和直播换脸,效果自然,兼容多种硬件,提供多种处理模式和自定义设置,具备预览和唇形同步功能,安装使用简单,适合不同用户需求。
本文综述了基于深度学习的说话头部生成技术,分析了音频驱动和视频驱动方法的优缺点,并提出了新方法GeneFace和DreamHead,以提高唇形同步和视频质量,为未来研究指明方向。
Talk3D是一种新型音频驱动的说话头合成框架,能够高效重建面部几何形状。该模型采用音频驱动的注意力U-Net架构,在动态面部变化生成方面表现优异,尤其在极端头部姿势下。研究还提出了GeneFace和GeneFace++,实现高保真、实时的音频-唇形同步生成。其他方法如HiDe-NeRF和SyncTalk在面部表情和姿态的真实性上也取得了显著进展。
该文综述音频驱动说话人脸生成技术,涵盖学习分解的视听表示、三维面部动画、姿势可控对话脸、AMIE视听一致性、DIRFA多样化动画、3DiFACE扩散模型及FaceTalk三维头部运动合成等方法,实现唇形同步、表情与姿态控制,并在多个数据集上优于基线。
该文综述音频驱动说话人脸生成技术进展,涵盖GSmoothFace、GeneFace++、GeneFace、GMTalker等模型,重点解决唇形同步、身份保留、情感控制与实时生成等挑战,通过3D引导、NeRF、对抗网络等方法提升真实感与视觉质量。
本文综述语音驱动情感化人脸生成技术,涵盖EmoTalker、EAMM、EVP、EMOTE、DREAM-Talk、Emo-Avatar、EMOCA等系统,采用扩散模型、情感解耦、神经渲染等方法,实现高保真、可定制、唇形同步的情感表达,并探讨视觉模态在情感识别中的主导作用。
该文综述深度伪造检测与唇形同步技术。检测方面,LipForensics结合视觉语音识别与时间网络检测新型伪造;其他方法基于三维头部姿势、多模态一致性、帧不一致性及音视频交叉注意,提升泛化性与鲁棒性。生成方面,StyleLipSync基于StyleGAN生成身份无关的唇形同步视频,Wav2Lip实现任意身份口型匹配,Audio-Lip Memory提升时序一致性,另有三维面部建模方法。
完成下面两步后,将自动完成登录并继续当前操作。