一键式动作定制的文本到视频扩散模型
内容提要
该文综述视频扩散模型的动作定制方法，包括MotionDirector、VMC、AnimateZero、MotionCrafter和DreamVideo等。这些方法利用LoRA、时间注意力调整、运动蒸馏等技术，从少量视频样本学习特定动作，生成外观多样、时序一致的自定义视频，并支持外观与动作解耦及混合控制。
延伸解读
动作定制与外观解耦的技术路线
文章综述的多种方法均致力于将动作与外观解耦，使生成视频能自由组合不同外观和动作。MotionDirector采用双路径LoRA架构和去除外观影响的时间损失函数；VMC通过调整时间注意力层并引入运动蒸馏目标；MotionCrafter则利用并行时空架构分别处理动作和外观。这些技术路线反映了视频扩散模型定制化的核心挑战：在保持时序一致性的同时，实现动作与外观的独立控制。
少样本学习与零样本方法的对比
文章提到的方法大多需要少量视频样本进行学习，如MotionDirector、VMC、MotionCrafter和DreamVideo均基于几个样本进行定制。而AnimateZero则无需进一步训练，即可控制预训练的AnimateDiff模型，实现交互式视频生成和真实图像动画。这种零样本方法降低了定制门槛，但可能在对特定动作的精确复制上不如少样本方法灵活。
运动蒸馏与时间注意力调整的机制
VMC框架提出了一种新颖的运动蒸馏目标，利用连续帧之间的残差向量作为运动参考，在扩散过程中保留低频运动轨迹，同时减少图像空间中高频运动无关噪声。这种方法通过调整时间注意力层，使模型能够从少量视频中学习并概括动作模式。类似地，其他方法也通过时间注意力调整或运动蒸馏来注入动作信息，体现了对视频时序建模的重视。
开源模型与定制化应用的相互促进
文章指出，开源视频生成模型包括文本到视频和图像到视频两种扩散模型，它们能生成高分辨率、逼真且影片般质量的视频，或将给定图像转化为视频片段。这些开源模型为动作定制方法提供了基础，而定制化技术如MotionDirector、VMC等又扩展了模型的能力，使其能生成超越原始训练数据的动作。这种相互促进推动了视频生成技术的进步。
Q&A
MotionDirector 是如何实现视频动作定制的？
MotionDirector 通过引入双路径的 LoRAs 架构和一种新颖的去除外观影响的时间损失函数，能够生成具有不同外观的自定义运动视频，并支持混合不同视频的外观和运动以及给单个图像添加自定义动作。
VMC 框架中的运动蒸馏目标是什么？
VMC 框架引入了一种新颖的运动“蒸馏”目标，利用连续帧之间的残差向量作为运动参考。扩散过程保留低频运动轨迹，同时减少图像空间中高频运动无关噪声。
AnimateZero 如何实现无需训练的外观和动作控制？
AnimateZero 通过解耦视频为特定外观与相应动作的图像动画，揭示预训练的文本到视频扩散模型 AnimateDiff，为其提供更精确的外观和动作控制能力，无需进一步训练即可成功控制生成进程。
MotionCrafter 如何增强动作与外观的解耦？
MotionCrafter 通过并行的时空架构注入参考动作到基础模型的时间部分，同时独立调整空间模块以进行角色或风格控制，从而增强动作与外观的解耦，维持多样性。
DreamVideo 需要什么样的输入来生成个性化视频？
DreamVideo 需要几个所需主题的静态图像和几个目标运动的视频作为输入，从而生成个性化视频。
这些视频动作定制方法主要解决了哪些挑战？
主要挑战包括准确复制目标视频的运动及创建多样化的视觉变化。这些方法通过利用少量视频样本学习特定动作，生成外观多样、时序一致的自定义视频，并支持外观与动作解耦及混合控制。
