本研究提出了MusicInfuser方法,旨在生成与指定音乐轨道同步的高质量舞蹈视频。该方法通过音乐-视频跨注意力机制,避免了对运动捕捉数据的依赖,实现灵活且高质量的音乐驱动视频生成。
该文章介绍了一种以姿势感知损失为基础的学习方法,用于生成符合音乐的舞蹈视频。通过使用两个区分器来捕捉序列的不同方面,并引入新的姿势感知损失来产生自然的舞蹈,同时还提供了一种新的跨模态评估方法来评估舞蹈质量。通过用户研究证明,该方法生成的舞蹈视频具有惊人的逼真效果。
完成下面两步后,将自动完成登录并继续当前操作。