PIXART-δ: 快速且可控的图像生成与潜在一致性模型
内容提要
2023年文本到图像生成领域取得多项进展：PIXART-α以低训练成本实现高质量图像合成；LCMs与LCM-LoRA加速采样和生成过程；ControlNet-XS、Uni-ControlNet和Control3D增强了生成可控性；PanGu-Draw实现高效多控制生成；VideoLCM支持少步高保真视频合成；PAI-Diffusion和RAPHAEL提升了中文生成与图像质量。
延伸解读
PIXART-α：低成本训练的扩散Transformer
PIXART-α 是一种基于 Transformer 的文本到图像扩散模型，其核心优势在于以较低的训练成本实现高质量图像合成。文章指出，该模型在训练速度上超越现有模型，并减少了 CO2 排放。这意味着在算力资源有限的情况下，研究者和开发者也能训练出高质量的生成模型，对推动绿色 AI 和降低门槛具有积极意义。
LCM 系列：加速采样的关键路径
潜在一致性模型（LCMs）通过直接预测引导反向扩散过程的 ODE 解，在潜空间中实现快速、高保真的采样，解决了迭代采样在高分辨率图像合成中的计算负担和速度慢的问题。LCM-LoRA 进一步将 LoRA 蒸馏应用于 Stable Diffusion 等模型，作为可插拔的加速模块，减少内存消耗并提升生成质量，可广泛用于多种图像生成任务。
可控生成：从 2D 到 3D 的多样化控制
ControlNet-XS 通过减少信息流动延迟，专注于学习控制任务，参数量更少且推理和训练速度约快两倍，生成质量与控制精度更高。Uni-ControlNet 结合局部和全局控制，通过微调预训练扩散模型增强控制性和复合性。Control3D 首次尝试在文本到 3D 生成中加入手绘草图条件，利用改进的 2D ControlNet 引导 NeRF 学习，使生成的三维场景与文本和草图紧密对齐。
高效视频合成与中文生成进展
VideoLCM 基于潜在视频扩散模型和一致性蒸馏技术，仅需四个采样步骤即可实现高保真、流畅的视频合成，展示了实时合成的潜力。在中文图像生成方面，PAI-Diffusion 整合通用和领域特定的中文扩散模型，解决了现有模型忽略领域上下文和不稳定性的问题；RAPHAEL 基于混合专家架构，在图像质量和美感上优于 Stable Diffusion 等先进模型。
Q&A
PIXART-α 是什么？它有什么特点？
PIXART-α 是一个基于 Transformer 的文本到图像扩散模型，能够以低训练成本实现高质量图像合成，在训练速度上超越现有模型，并减少二氧化碳排放。
潜在一致性模型（LCMs）如何解决图像生成速度慢的问题？
LCMs 通过在潜空间中直接预测引导反向扩散过程的 ODE 解决方案，实现了快速、高保真度的采样，从而解决了迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题。
ControlNet-XS 相比现有控制网络有哪些改进？
ControlNet-XS 不受信息流动延迟问题困扰，可以专注于学习控制任务；与现有控制网络相比，参数量更少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。
Uni-ControlNet 如何实现更可控和复合的图像生成？
Uni-ControlNet 利用不同的局部和全局控制，并通过预训练的文本到图像扩散模型进行微调，使图像生成更具控制性和复合性。
VideoLCM 在视频合成方面有什么突破？
VideoLCM 利用一致性模型概念，通过最小步骤高效合成高质量视频。它基于潜在视频扩散模型并结合一致性蒸馏技术训练潜在一致性模型，仅需四个采样步骤即可实现高保真度和流畅的视频合成，展示了实时合成的潜力。
LCM-LoRA 是什么？它有什么作用？
LCM-LoRA 是通过将 LoRA 蒸馏应用于稳定扩散模型（如 SD-V1.5、SSD-1B 和 SDXL）得到的加速模块，可以减少内存消耗、提高图像生成质量，并能直接插入各种微调的稳定扩散模型或 LoRAs 中，作为多样图像生成任务的通用加速器。
PAI-Diffusion 如何解决中文图像生成中的挑战？
PAI-Diffusion 是一个全面框架，通过整合通用和领域特定的中文扩散模型，解决了现有模型在处理中文时忽略领域上下文和不稳定性的问题，实现了上下文相关图像的生成。
RAPHAEL 模型在图像生成质量上表现如何？
RAPHAEL 是一个基于 Mixture-of-Experts 的文本条件化图像扩散模型，在图像质量和美感上优于现有的一些先进模型，包括 Stable Diffusion、ERNIE-ViLG 2.0、DeepFloyd 和 DALL-E 2。
