Direct-a-Video: 用户定制化视频生成与用户指导的摄像机移动和物体运动
内容提要
本文综述视频生成中的运动定制方法，包括MotionDirector、DreamVideo、MotionCtrl、LivePhoto、Motion-Zero、VMC、ControlVideo和C2M等，通过LoRA、扩散模型、时间注意力及轨迹控制，实现自定义动作、相机与物体运动控制，提升时序一致性和外观稳定性。
延伸解读
运动定制技术概览
文章综述了多种视频生成中的运动定制方法，包括MotionDirector、DreamVideo、MotionCtrl、LivePhoto、Motion-Zero、VMC、ControlVideo和C2M。这些方法通过LoRA、扩散模型、时间注意力及轨迹控制等技术，实现自定义动作、相机与物体运动控制，提升时序一致性和外观稳定性。
关键技术手段
各方法采用不同技术路径：MotionDirector使用双路径LoRA和去除外观影响的时间损失函数；DreamVideo从静态图像和运动视频生成个性化视频；MotionCtrl统一控制相机和物体运动；Motion-Zero利用U-net注意力图实现零样本轨迹控制；VMC通过调整时间注意力层和运动蒸馏目标；ControlVideo无需训练即可生成视频；C2M通过鼠标轨迹点控制运动。
应用与影响
这些技术提升了视频生成的定制化能力，支持混合不同视频的外观和运动、给单个图像添加自定义动作、通过文本描述添加动画效果等。它们增强了视频生成的时序一致性和外观稳定性，为视频创作提供了更灵活的控制手段。
Q&A
MotionDirector 是如何实现自定义运动视频生成的？
MotionDirector 通过引入双路径的 LoRAs 架构和一种新颖的去除外观影响的时间损失函数，可以生成具有不同外观的自定义运动的视频，并支持混合不同视频的外观和运动以及给单个图像添加自定义动作。
DreamVideo 能根据哪些输入生成个性化视频？
DreamVideo 可以从几个所需主题的静态图像和几个目标运动的视频来生成个性化视频。
MotionCtrl 在视频生成中能控制什么？
MotionCtrl 是一个用于视频生成的统一和灵活的运动控制器，通过有效和独立地控制相机运动和物体运动，实现更精细的运动控制和促进两种类型运动的灵活多样组合。
LivePhoto 系统如何为图像添加动画？
LivePhoto 系统允许使用者通过文本描述来为感兴趣的图像添加动画效果，系统通过改进的生成器和设计的训练流程，实现了文本到视频的解码，进而实现了对视频的自定义。
Motion-Zero 如何控制移动物体的轨迹？
Motion-Zero 通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。
VMC 框架的主要目标是什么？
VMC 框架旨在解决个性化定制视频扩散模型以生成具有定制运动的视频的挑战，主要困难包括准确复制目标视频的运动及创建多样化的视觉变化。
ControlVideo 生成视频需要训练吗？
ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成的方法，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。
Click to Move (C2M) 框架如何控制视频运动轨迹？
Click to Move (C2M) 是一个新框架，可以通过简单的鼠标轨迹点控制合成视频的运动轨迹，并组合用户提供的运动信息和图像特征的 GCN 框架，从而在两个公开数据集上优于现有方法。
