傀儡大师:将互动视频生成扩展为部件级动态的运动先验
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对现有模型在部件级动态生成中的局限性,提出了傀儡大师(Puppet-Master),一种互动视频生成模型,能够根据单幅图像和稀疏运动轨迹合成真实的部件级运动视频。通过引入新型的条件架构和全到首注意机制,显著提高了生成质量,并在多个类别的真实图像上展示了良好的泛化能力,超越了现有方法的表现。
本文介绍了一种使用局部操纵来学习自然外观的全局关节的方法。通过学习物体动力学的生成模型,响应用户互动,并了解相互关联的不同物体部位,该方法可以预测物体弯曲的时间变化,并实现变形的局部交互控制。该方法在不同物体上的实验证明了其有效性。