Stable Diffusion 图片生成原理简述
💡
原文中文，约5300字，阅读约需13分钟。
📝
内容提要
本文介绍了图片生成的基本原理，使用了扩散模型和UNet模型。通过训练和组合UNet模型，可以从随机噪点生成正常图片，并通过文本描述控制生成图片与输入文案匹配。文章还介绍了隐空间、VAE和CLIP模型等相关概念，以及Stable Diffusion的改进和应用。
🎯
关键要点
- 本文介绍了图片生成的基本原理，主要涉及扩散模型和UNet模型。
- 扩散模型的基本原理是通过去除随机噪点生成与文字描述匹配的图片。
- UNet模型用于从随机噪点图生成正常图片，通过训练记录图片特征。
- 训练过程包括将正常图片加噪声并训练模型推算噪声，以实现去噪。
- 多步扩散过程通过多次加噪声和去噪声来生成清晰图片。
- 控制生成的图片与输入文案匹配需要在训练中加入文本描述。
- 隐空间和VAE用于降低图片数据量，便于计算和训练。
- CLIP模型用于将文本编码为向量，增强文本与图片的关联性。
- DDIM模型通过跳步去噪提高生成速度，减少采样步骤。
- Stable Diffusion在扩散模型基础上进行改进，提供开源框架和可定制性。
➡️
