UniCtrl：通过无需训练的统一注意力控制提升文本到视频扩散模型的时空一致性
内容提要
该文综述文本到视频生成与编辑技术，涵盖ControlVideo、UniControl、Uni-ControlNet、Video-ControlNet、UniEdit、SparseCtrl等模型，利用扩散模型、控制信号、帧插值和时空注意力实现高质量、时序一致的可控视频生成与编辑。
延伸解读
无需训练的控制策略成为主流
文章多次提到无需训练的方法，如ControlVideo、UniEdit和SparseCtrl，它们利用预训练扩散模型直接实现可控生成或编辑，避免了微调成本。这种策略降低了使用门槛，但可能受限于预训练模型的能力，在复杂控制信号下效果可能打折扣。
时空一致性是核心挑战
多个模型如ControlVideo、Video-ControlNet和UniEdit都强调时序一致性，通过帧插值、分层采样、残差噪声初始化或稀疏双向时空注意力等技术来提升。这表明在视频生成中，保持帧间连贯性比单帧质量更关键，也是评估模型性能的重要指标。
控制信号的多样化与集成
从UniControl的多条件集成到Uni-ControlNet的局部与全局控制，再到SparseCtrl的时间稀疏信号，控制方式日益灵活。这种多样化让用户能通过边缘、深度等信号精细指导生成，但如何平衡不同控制信号之间的冲突仍是实际应用中的难点。
Q&A
ControlVideo 是什么？它有什么特点？
ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成的方法，使用三个模块实现外观协调、帧插值以及分层采样，能够在几分钟之内生成高质量的短视频和长视频。
UniControl 是什么？它有什么优势？
UniControl 是一种新的可控生成基础模型，集成了多种可控因素，实现了基于任意语言提示的像素级精确图像生成，并通过多任务学习，使其具有适应不同可控条件的能力，实验证明其性能优于其他同类型模型。
Uni-ControlNet 是如何实现图像生成的控制的？
Uni-ControlNet 利用不同的局部和全局控制并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。
Video-ControlNet 如何生成高质量且连贯的视频？
Video-ControlNet 是一种可控的文本到视频模型，可以生成由控制信号（如边缘或深度图）条件的视频。它采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。
UniEdit 是什么？它支持哪些编辑功能？
UniEdit 是一个无需调整参数的框架，它利用预先训练的文本到视频生成器，通过反演和生成的方式来支持视频运动和外观编辑。通过引入辅助运动参考和重建分支，利用时间和空间自注意层来实现运动编辑并保留源视频内容，UniEdit 在视频运动编辑和各种外观编辑场景上优于现有的方法。
SparseCtrl 如何实现视频生成中的结构控制？
通过使用 SparseCtrl，可以通过处理时间稀疏的信号实现灵活的结构控制，且不需要改变预训练的 T2V 模型，从而提供更实用的视频生成控制方法。
