Loopy:驯化音频驱动的人物头像与长期运动依赖
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了现有音频驱动的人物视频生成方法在运动控制上的局限性,提出了一种名为Loopy的端到端音频条件视频扩散模型。该模型通过设计时间模块和音频到潜在空间模块,实现了对长期运动信息的利用,从而学习自然运动模式,显著提升了音频与肖像运动之间的相关性。实验表明,Loopy在多种场景中生成的效果更具真实感和高质量。
本研究提出了一种名为Loopy的音频条件视频扩散模型,通过学习自然运动模式,提升音频与肖像运动的相关性。实验结果表明,Loopy在多种场景中生成的效果更真实和高质量。