Motion-Zero：基于扩散的视频生成中的零表示移动物体控制框架
内容提要
该文综述零样本文本到视频合成研究：MotionZero通过提示自适应与解耦运动控制，从提示导出运动先验并分区控制不同对象运动，配合运动感知注意力调节帧间注意力；另有方法保持输入视频运动与场景布局实现文本驱动运动转换，或解耦外观与动作实现精确控制；FlowZero结合大语言模型与图像扩散模型生成连贯生动视频；MoVideo从深度和光流建模运动；此外还有零样本文本到动画角色合成及分割引导提升可控性的方法。
延伸解读
MotionZero 如何实现解耦运动控制
MotionZero 的核心是从不同对象的提示中导出运动先验，并将这些先验分别应用到对应区域，从而实现解耦控制。同时，它引入运动感知的注意力机制，根据运动振幅调整帧间注意力，以支持不同强度的运动。这种设计让零样本文本到视频生成能更精细地控制多个对象的运动，并扩展到视频编辑等应用。
零样本视频生成中的运动建模路径
文章综述了多种零样本视频生成方法，它们从不同角度建模运动：FlowZero 结合大语言模型与图像扩散模型生成连贯视频；MoVideo 从深度和光流两方面建模运动，并在潜在空间生成视频；AnimateZero 则解耦外观与动作，实现更精确的控制。这些方法共同表明，运动先验的提取与表示是提升视频生成质量的关键。
可控性提升的辅助技术
除了直接建模运动，文章还提到通过分割引导和边界框来增强可控性。例如，ZestGuide 利用分割指导预训练的文本到图像扩散模型，实现对象与文本的精准对齐；另有方法使用边界框引导主题，无需训练或微调。这些技术为视频生成中的空间控制提供了补充手段，有助于实现更符合用户意图的结果。
Q&A
MotionZero 是如何实现零样本文本到视频生成中的运动控制的？
MotionZero 采用提示自适应和解耦运动控制策略：从不同对象的提示中导出运动先验，并将不同对象的运动控制分别应用于相应区域；同时引入运动感知的注意力机制，通过运动振幅调整帧间注意力，从而支持运动振幅不同的视频。
AnimateZero 能对预训练的文本到视频扩散模型提供哪些控制能力？
AnimateZero 通过将视频解耦为特定外观与相应动作的图像动画，为预训练的 AnimateDiff 模型提供更精确的外观和动作控制能力，且无需进一步训练即可控制生成进程，还能实现交互式视频生成和真实图像动画等应用。
FlowZero 框架是如何提升零样本视频合成的？
FlowZero 结合大语言模型（LLMs）与图像扩散模型，通过生成连贯且运动生动的视频来改进零样本视频合成。
MoVideo 框架如何建模视频中的运动？
MoVideo 从视频深度和光流两个方面考虑运动，通过稀疏-时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，在文本到视频和图像到视频生成中取得了最先进的结果。
零样本文本到动画角色合成方法如何实现时序一致的视频生成？
该方法基于预训练的文本到图像扩散模型，利用现有的基于文本的动作扩散模型生成多样动作，并用其指导文本到图像模型，从而在无需训练或微调的情况下生成具有不同动作和风格的时序一致视频，在像素一致性和用户偏好上优于现有零样本文本到视频方法。
ZestGuide 在文本生成图像中如何提升可控性？
ZestGuide 是一种零样本分割指导方法，可插入预训练的文本到图像扩散模型中，通过精准对齐输入分割来提升图像质量，在 COCO 数据集上结果优于 Paint with Words。
