ResAdapter：扩散模型中的域一致分辨率适配器
内容提要
该文综述扩散模型在图像超分辨率中的进展，包括基于扩散的逐步插值方法、中继扩散模型、自级联扩散模型、X-Adapter和ASD等，分别实现优于现有大规模模型、任意分辨率无缝生成、快速适应高分辨率图像视频、兼容旧插件和高效任意尺寸图像生成。
延伸解读
扩散模型超分辨率的技术脉络
文章梳理了扩散模型在图像超分辨率中的多项进展，包括基于扩散的逐步插值、中继扩散模型、自级联扩散模型、X-Adapter和ASD等。这些方法分别针对不同痛点：逐步插值通过域间转移提升效果；中继扩散解决频率域中信噪比随分辨率升高的问题；自级联扩散实现快速适应高分辨率；X-Adapter兼容旧插件；ASD高效生成任意尺寸图像。读者可借此了解该领域从基础方法到应用适配的演进路径。
关键方法的核心思路与优势
中继扩散模型通过模糊扩散和块噪声将低分辨率图像或噪声转换为等效高分辨率表示，使扩散过程能在任意新分辨率下无缝继续，无需从纯噪声重启，在CelebA-HQ和ImageNet上取得领先指标。自级联扩散利用低分辨率模型知识，仅需少量调优参数和10k步微调即可适应高分辨率图像视频生成，训练速度提升5倍。X-Adapter则让升级后的文本到图像模型直接兼容预训练插件，无需重新训练。这些方法共同指向高效、灵活的超分辨率适配。
实际应用中的兼容性与效率考量
文章提到X-Adapter通过空文本训练和两阶段去噪策略，使不同版本的插件能共同工作，扩展了扩散社区的功能。ASD在LAION-COCO和MM-CelebA-HQ基准上实现了2倍于传统平铺算法的推理时间减少，并保持良好结构。此外，无需训练的方法通过重新扩张卷积感知域和分散卷积，解决了物体重复和不合理结构问题。这些进展表明，超分辨率技术正朝着降低计算成本、增强插件兼容性和提升生成质量的方向发展，为实际部署提供了更多可能。
Q&A
ResAdapter 是什么？它主要解决什么问题？
ResAdapter 是一种域一致的分辨率适配器，用于扩散模型中的图像超分辨率。它通过建立领域之间的转移关系，学习统计特性的差异以促进逐步插值，并利用低分辨率图像对转移领域进行条件控制，从而高效地实现图像超分辨率。
ResAdapter 在图像超分辨率任务上表现如何？
实验结果表明，ResAdapter 不仅优于最先进的大规模超分辨率模型，也优于当前的扩散模型。此外，该方法可以方便地扩展到其他图像到图像的任务，如图像增强、修复、去噪等。
中继扩散模型（RDM）是如何实现任意分辨率生成的？
RDM 通过模糊扩散和块噪声将低分辨率图像或噪声转换为等效的高分辨率图像，使扩散过程能够在任意新分辨率或模型中无缝地继续进行，而无需从纯噪声或低分辨率条件重新启动。
自级联扩散模型如何快速适应高分辨率图像和视频生成？
自级联扩散模型整合了一系列多尺度上采样器模块，利用低分辨率模型的丰富知识，通过无需调优或廉价上采样器调优范例，快速适应高分辨率图像和视频生成。它采用基于中心引导的噪声重新调度策略加快推理并提高局部结构细节，与完全微调相比训练速度提高 5 倍，仅需额外 0.002M 调优参数，10k 步微调即可适应更高分辨率合成。
X-Adapter 如何让升级后的文本到图像扩散模型与旧插件兼容？
X-Adapter 通过训练额外的网络来控制冻结的升级模型，使用新的文本-图像数据对进行指导，同时保留不同版本插件的连接器，并通过可训练的映射层将不同版本模型的解码器连接起来进行特征映射。它使用空文本训练策略和两阶段去噪策略提高指导能力，实验证明其与各种插件具有通用兼容性，并使不同版本的插件能够共同工作。
Any-Size-Diffusion (ASD) 如何实现任意尺寸图像生成？
ASD 是一种两阶段流程，通过优化文本条件扩散模型和引入快速无缝平铺扩散 (FSTD) 技术来有效生成任意尺寸的图片。在 LAION-COCO 和 MM-CelebA-HQ 基准测试中，它取得了 2 倍于传统平铺算法的推理时间减少和良好结构的图片效果。
