运动引导：基于可微运动估计的扩散图像编辑
内容提要
综述总结了扩散模型可控生成的多项进展，包括通过内部表示控制图像属性的self-guidance、零样本条件生成的Steered Diffusion、基于深度和光流生成视频的MoVideo、利用关键点精确控制图像的KDM、生成低阻力车辆的阻力引导方法、基于点的图像编辑DragDiffusion、用于人体动作合成的MotionMix和GMD，以及提升视频生成质量的隐式条件建模。
延伸解读
无需额外训练的控制方法
文章介绍的self-guidance和Steered Diffusion都强调无需额外模型或训练即可实现控制。self-guidance通过指导扩散模型的内部表示来提取对象属性，Steered Diffusion则利用预训练逆模型设计损失，在推理时引导生成。这两种方法降低了应用门槛，但实际效果可能受限于预训练模型的能力，读者需关注其在不同任务上的泛化性。
运动建模在视频生成中的核心作用
MoVideo和隐式条件建模方法都聚焦于视频生成中的运动效果。MoVideo从深度和光流两方面考虑运动，通过稀疏-时间扩散模型生成深度和光流，再在潜在空间生成视频。隐式条件建模则通过模拟运动效果来提升视频质量。这些方法表明，对运动的显式或隐式建模是提升视频生成质量的关键，但计算成本和训练复杂度可能较高。
关键点与光流实现精细控制
KDM通过操作物体关键点实现精确控制，并引入光流图作为中间输出，建立图像与稀疏关键点之间的密集像素级语义关系。光流还有助于调节顺序图像的帧间差异。这种方法在面部图像生成、人体姿势合成等任务上表现优异，但依赖关键点的准确标注，且光流估计的误差可能影响最终生成质量。
物理引导与交互式编辑的多样性
阻力引导方法将物理性能指标融入扩散模型，生成低阻力车辆图像，展示了扩散模型在工程优化中的潜力。DragDiffusion则通过优化潜在空间实现基于点的交互式编辑，提供精确的空间控制。这些方法拓展了扩散模型的应用范围，但物理引导需要可微的预测模型，交互式编辑则对用户操作有一定要求。
Q&A
self-guidance 方法如何控制扩散模型生成的图像？
self-guidance 通过指导扩散模型的内部表示来控制生成图像，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样。这种方法类似于分类器引导，但不需要额外的模型或训练。
Steered Diffusion 是什么？它有什么优势？
Steered Diffusion 是一个通用的框架，用于实现基于扩散模型的逼真零样本条件图像生成，通过使用预先训练的逆模型设计的损失，在推理时引导扩散模型的图像生成过程。与最先进的基于扩散的即插即用模型相比，它在修补、着色、文本引导的语义编辑和图像超分辨率等任务上有明显的定性和定量改进，同时增加了可忽略的额外计算成本。
MoVideo 框架是如何生成视频的？
MoVideo 是一种运动感知视频生成框架，从视频深度和光流两个方面考虑运动，并通过稀疏-时间扩散模型生成视频深度和光流，然后在潜在空间中生成视频，最后利用光流对不同帧进行对齐和细化，实现了文本到视频和图像到视频生成中最先进的结果。
KDM 模型如何实现精确控制图像生成？
KDM 通过操作物体的关键点，引入了一种具有精确控制图像的关键点引导扩散概率模型。它提出了一个包含光流图的两阶段生成模型，作为中间输出，在图像和稀疏关键点之间实现了密集像素级的语义关系理解，从而实现更真实的图像生成。此外，光流的集成有助于调节顺序图像的帧间差异，展示了真实的顺序图像生成。
DragDiffusion 是什么？它有什么作用？
DragDiffusion 是一个基于扩散模型的交互式基于点的图像编辑框架，通过优化扩散模型潜在空间实现精确的空间控制。
MotionMix 和 GMD 在人体动作合成中有什么作用？
MotionMix 是一个弱监督扩散模型，用于可控生成 3D 人体动作，在文本到动作、动作到动作和音乐到舞蹈任务上达到了最先进的性能。GMD 是一种应用于人体动作合成的有向扩散模型算法，通过大量实验验证，证明该算法在控制生成的动作的同时，显著提高了基于文本的运动生成的效果。
