内容提要
本文介绍了 Stable Diffusion XL（SDXL）模型的概述和基础架构，以及如何在 HuggingFace diffusers 中使用 SDXL 和适用于 SDXL 的 Lora 模型和 ControlNet 模型进行推理。文章还提供了代码示例和测试方法。
关键要点
-
Stable Diffusion Quick Kit 是一个快速部署工具包，包含示例代码和服务部署脚本。
-
Stable Diffusion XL（SDXL）是由 Stability AI 创建的新图片生成模型，优化了 U-Net、VAE 和 CLIP Text Encode。
-
SDXL 引入了 Refiner 模型，提升生成图像的精细程度。
-
SDXL 是一个二阶段级联扩散模型，由 Base 模型和 Refiner 模型组成，旨在提高图像质量和细节。
-
SDXL 的 UNet 参数数量为 2.6B，显著高于之前的模型。
-
Refiner 模型在推理阶段对生成的图像进行去噪，提升整体质量与局部细节。
-
在 HuggingFace diffusers 中使用 SDXL 需要版本 v0.19.3 或以上，提供了新的 Pipeline 接口。
-
Quick Kit 支持动态加载 SDXL 和 LoRA 模型，提供了 Canny 和 Depth 两个 ControlNet 模型。
-
在 SageMaker Notebook 中创建推理服务需要设置推理参数和机器类型。
-
SDXL LoRA 模型与之前的 SD 1.5 LoRA 模型不兼容，需要使用专门训练的 LoRA 模型。
-
测试 SDXL 时可以选择使用或不使用 Refiner 模型，支持动态加载 ControlNet 模型。
-
目前 diffusers 社区在快速发展，但仍有一些功能在开发中，如不支持多个 LoRA 加载。
