魔我：身份特定视频定制扩散
内容提要
开源视频生成模型分为文本到视频和图像到视频两类，可生成高分辨率逼真视频。近年研究提出Video-ControlNet实现可控生成，CustomVideo、DreamVideo等支持多主题个性化定制，VMC框架定制运动，Imagen Video生成高清视频，MagicVideo高效生成，扩散模型显著推进了视频生成技术。
延伸解读
身份定制视频的技术路线
文章介绍了CustomVideo和DreamVideo两种身份定制视频方法。CustomVideo通过多主题组合和注意力控制策略，在潜在空间中分离不同主题，并利用对象蒙版聚焦特定区域，实现多主题身份保持。DreamVideo则从静态图像和运动视频中学习，生成个性化视频。这些方法共同推动了视频生成从通用向个性化发展，但均依赖扩散模型，计算成本较高。
运动控制的关键挑战与解决方案
视频运动定制（VMC）框架针对个性化视频生成中准确复制目标运动和创建多样化视觉变化的难题，提出一键调整时间注意力层的方法。通过运动蒸馏目标，利用连续帧残差向量作为参考，保留低频运动轨迹并减少高频噪声。这为视频扩散模型提供了高效的运动定制途径，但文章未提及具体性能指标。
高效视频生成的技术进展
MagicVideo利用潜在扩散模型在低维潜在空间生成256x256视频，速度比VDM快64倍，显著提升了生成效率。Imagen Video则通过级联扩散模型和超分辨率模型生成高清视频，具备高度可控性和世界知识。这些进展表明视频生成在质量和效率上不断突破，但高分辨率生成仍可能受计算资源限制。
Q&A
开源视频生成模型主要分为哪两类？
开源视频生成模型主要分为文本到视频和图像到视频两种扩散模型。文本到视频模型能生成高分辨率、逼真且影片般质量的视频；图像到视频模型可将给定图像转化为视频片段并保留内容约束。
Video-ControlNet 是什么？它有什么特点？
Video-ControlNet 是一种可控的文本到视频模型，可以生成由控制信号（如边缘或深度图）条件的视频。它采用新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。
CustomVideo 框架如何实现多主题视频生成？
CustomVideo 通过将多个主题组合于单个图像中来促进多主题同时出现；在基本的文本到视频扩散模型上，设计了一种简单而有效的注意力控制策略，以在扩散模型的潜在空间中解开不同的主题；此外，从给定的参考图像中分割对象，并为注意力学习提供相应的对象蒙版。
DreamVideo 能做什么？
DreamVideo 是一种新颖的方法，可以从几个所需主题的静态图像和几个目标运动的视频来生成个性化视频。
视频运动定制（VMC）框架解决了什么问题？
VMC 框架解决了个性化定制视频扩散模型以生成具有定制运动的视频的挑战，主要困难包括准确复制目标视频的运动及创建多样化的视觉变化。它引入了一种新颖的运动“蒸馏”目标，利用连续帧之间的残差向量作为运动参考。
Imagen Video 是什么？它有什么特点？
Imagen Video 是一种基于级联的视频扩散模型的文本有条件的视频生成系统，它使用基础视频生成模型和序列的交错空间和时间视频超分辨率模型生成高清视频。该系统可扩展为高清文本到视频模型，具有高度的可控性和世界知识，包括生成各种艺术风格的多样化视频和文本动画以及 3D 对象理解。
MagicVideo 在视频生成效率上有什么优势？
MagicVideo 利用基于潜在扩散模型的高效文本生成视频框架生成与文本内容高度相关的逼真视频片段，并使用低维潜在空间在单个 GPU 卡上生成具有 256x256 空间分辨率的视频片段，可以在 64 倍于最近的视频扩散模型（VDM）的速度下生成。
