猿猴仿效:利用自注意力在运动扩散中实现零样本运动转移

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们提出了一种新颖的零样条移动物体轨迹控制框架Motion-Zero,通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性,并利用U-net的注意力图在扩散模型的去噪过程中直接应用空间约束,进一步确保移动物体的位置和空间一致性,并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型,无需任何训练过程,大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。

🎯

关键要点

  • 提出了一种新颖的零样条移动物体轨迹控制框架Motion-Zero。
  • 通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性。
  • 利用U-net的注意力图在扩散模型的去噪过程中直接应用空间约束。
  • 确保移动物体的位置和空间一致性。
  • 引入移动注意力机制实现时序一致性的保证。
  • 该方法灵活适用于各种最先进的视频扩散模型,无需任何训练过程。
  • 大量实验证明该方法可以控制物体的运动轨迹并生成高质量的视频。
➡️

继续阅读