猿猴仿效:利用自注意力在运动扩散中实现零样本运动转移
原文中文,约300字,阅读约需1分钟。发表于: 。通过深入研究预训练动作扩散模型中潜在特征空间的隐含优势以及注意力机制,本文提出了一种名为 MoMo 的零样本动作转换方法,它能够保持追随者的细微特征并将领导者的动作传递给追随者,同时充分利用预训练模型的权重,允许选择性地编辑与特定动作相关的特征,并且在合成、风格转换和空间编辑等任务上展现出优越性。
我们提出了一种新颖的零样条移动物体轨迹控制框架Motion-Zero,通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性,并利用U-net的注意力图在扩散模型的去噪过程中直接应用空间约束,进一步确保移动物体的位置和空间一致性,并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型,无需任何训练过程,大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。