猿猴仿效：利用自注意力在运动扩散中实现零样本运动转移
内容提要
本文介绍了GazeMoDiff、Motion-Zero和MoDiff等新型运动生成模型，旨在提高视频中人体动作的预测和控制精度。这些模型结合时空特征、注意力机制和无监督学习，生成高质量、自然的运动序列，适用于虚拟现实和视频编辑任务。
延伸解读
零样本运动控制的技术路线
文章介绍了多种零样本运动控制方法，如Motion-Zero和MOFT。Motion-Zero通过位置先验和U-net注意力图实现移动物体轨迹控制，无需训练即可应用于现有视频扩散模型；MOFT则通过主成分分析提取运动感知特征，实现无需训练的视频运动控制。这些方法共同表明，利用预训练扩散模型的内部表征，可以在不重新训练的情况下实现灵活的运动编辑，降低了应用门槛。
扩散模型在运动生成中的多样化应用
从GazeMoDiff的注视引导人体运动生成，到MoDiff的自回归概率扩散运动序列生成，再到MotionMix的弱监督3D动作生成，扩散模型被应用于多种运动生成任务。这些模型分别结合了时空相关性、跨模态Transformer和弱监督学习，展示了扩散模型在生成高质量、自然运动序列方面的潜力，并覆盖了虚拟现实、视频编辑等场景。
视频运动编辑中的一致性与背景保留
MotionEditor通过内容感知的运动适配器和两分支架构，在编辑视频动作时保留原始背景和主角外貌；StoryDiffusion则利用一致自注意力和语义运动预测模块，生成内容丰富的连贯图像或视频。这些工作关注运动编辑中的时序一致性和内容保持问题，表明在扩散模型框架下，通过注意力机制和模块设计可以有效维持视频的视觉连贯性。
Q&A
GazeMoDiff模型的主要功能是什么？
GazeMoDiff模型通过学习眼球注视和人体运动之间的时空相关性，生成逼真的人体运动，并在平均位移误差上超过了现有方法。
Motion-Zero框架如何改善移动物体的稳定性？
Motion-Zero框架通过提供基于位置的先验和利用U-net的注意力图，确保移动物体的位置和空间一致性，从而改善其外观稳定性和位置准确性。
什么是运动特征(MOFT)，它的作用是什么？
运动特征(MOFT)是一种无需训练的视频运动控制框架，旨在生成自然逼真的运动，并提供竞争性能和架构无关的见解。
MotionEditor模型在视频编辑中有什么优势？
MotionEditor模型通过引入内容感知的运动适配器和两分支架构，能够在编辑过程中保留原始背景和主角外貌。
MoDiff模型是如何生成运动序列的？
MoDiff模型结合跨模式Transformer编码器和基于Transformer的解码器，以自回归概率扩散模型生成控制时序依赖性的动作序列。
StoryDiffusion框架的主要创新点是什么？
StoryDiffusion框架通过引入自我关注计算方式和语义空间时间运动预测模块，能够生成包含丰富内容的一致图像或视频，用于描述基于文本的故事。
