AEROBLADE：使用自动编码器重构误差进行无需训练的潜在扩散图像检测
内容提要
本文综述潜在扩散模型（LDM）的多项进展：LMD框架通过渐进遮蔽扩散加速图像重建；LDM将扩散应用于预训练自编码器潜在空间以降低计算需求；Diff-AE、GAE、PDAE等编码器实现高效图像编辑与重建；FLDM、VidRD用于视频编辑与生成；LDP提出潜在扩散对抗补丁，兼顾攻击性与视觉自然度。
延伸解读
潜在扩散模型的核心优势
文章指出，潜在扩散模型（LDM）通过在预训练自编码器的潜在空间中应用扩散过程，显著降低了计算需求。与像素级扩散模型相比，LDM 将高维像素空间压缩为低维潜在空间，从而在保持生成质量的同时提高训练和推理效率。这一思路是后续多项研究的基础。
图像重建与编辑的多样化进展
基于 LDM 框架，研究者提出了多种改进方法。LMD 通过渐进遮蔽扩散加速重建；Diff-AE 和 GAE 利用扩散概率模型实现属性编辑；PDAE 则通过分类器引导采样提升重建性能。这些工作共同推动了高效图像编辑与重建的发展。
视频与对抗应用的扩展
LDM 的应用已扩展到视频领域。FLDM 将现成图像编辑方法融入视频 LDM，改善文字对齐和时间一致性；VidRD 结合 LDM 与自编码器实现文本到视频生成。此外，LDP 提出潜在扩散对抗补丁，在保持攻击能力的同时提升视觉自然度，主观评分达 87.3%。
Q&A
LMD框架是如何加速图像重建的？
LMD框架通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，并设计渐进遮蔽扩散模型，使用三种不同的调度器逐渐提高遮蔽比例，从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持原始准确性，并在下游任务中显著提高推理速度。
潜在扩散模型（LDM）相比传统扩散模型有什么优势？
LDM通过在预训练的自编码器的潜在空间中应用扩散模型，并引入交叉注意力层，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级DMs对计算资源的需求。
Diff-AE和GAE在图像编辑中有什么作用？
Diff-AE和GAE是基于Diffusion probabilistic models的编码器模型，能够实现由多个属性进行图像编辑和生成，大大降低了计算需求，并达到了相当不错的效果，对潜在特征得到了更好的分离。
FLDM在视频编辑中有什么创新？
FLDM是第一个将现成的图像编辑方法融入视频LDM的视频编辑方法，通过在视频LDM中应用现成的图像编辑方法，FLDM能够改善编辑视频的文字对齐和时间一致性。
VidRD如何实现文本到视频生成？
VidRD通过复用和扩散的框架，使用潜在扩散模型（LDM）和自编码器实现文本到视频生成，获得了良好的定量和定性结果。
潜在扩散补丁（LDP）是什么？它有什么特点？
LDP是一种新型对抗性补丁方法，首先设计预训练编码器将自然图像压缩到具有关键特征的特征空间，然后使用该特征空间训练扩散模型，最后通过图像去噪技术探索预训练扩散模型的潜在空间，利用扩散模型的强大自然能力对补丁和图像进行改进，使其更容易被人类视觉系统接受。实验结果表明，LDP在视觉主观评分上达到了87.3%，同时仍然保持有效的攻击能力。
