理解 Stable Diffusion UNet 网络
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
本文介绍了Stable Diffusion（SD）模型中的UNet网络结构。UNet最初用于医学图像分割，经过改造后应用于图像生成。SD的UNet引入了残差模块和Transformer模块，提升了网络的表达能力，并通过交叉注意力机制融合文本提示与图像特征，实现基于文本的图像生成。
🎯
关键要点
-
Stable Diffusion模型包含三个组件：CLIP、VAE和UNet，其中UNet是核心网络。
-
UNet最初用于医学图像分割，经过改造后应用于图像生成。
-
Stable Diffusion的UNet引入了残差模块和Transformer模块，提升了网络的表达能力。
-
Transformer模块的交叉注意力机制融合文本提示与图像特征，实现基于文本的图像生成。
-
UNet的下采样和上采样层分别由多个残差模块和Transformer模块组成。
-
自注意力模块和交叉注意力模块是Transformer模块的关键部分，前者捕捉图像特征关系，后者融合噪声图和文本特征。
❓
延伸问答
Stable Diffusion中的UNet网络有什么主要功能？
UNet网络是Stable Diffusion模型的核心，主要用于图像生成。
UNet网络是如何改造以适应图像生成的？
UNet经过改造，引入了残差模块和Transformer模块，以提升表达能力并实现基于文本的图像生成。
Transformer模块在UNet中起什么作用？
Transformer模块通过交叉注意力机制融合文本提示与图像特征，实现基于文本的图像生成。
UNet的下采样和上采样层是如何构成的？
下采样层由多个残差模块和Transformer模块组成，上采样层也由类似的模块构成，具体数量有所不同。
自注意力模块和交叉注意力模块有什么区别？
自注意力模块捕捉图像特征关系，而交叉注意力模块则融合噪声图和文本特征。
Stable Diffusion的UNet网络与传统UNet有什么不同？
Stable Diffusion的UNet在传统UNet的基础上进行了改造，增加了残差模块和Transformer模块，以适应图像生成任务。
🏷️
