在复刻黏土风图生成中学习(1) — 模型微调/LoRA 原理/图生图
内容提要
本文介绍了使用Stable Diffusion生成黏土风格图片的流程和原理，包括ComfyUI和模型的组合使用，以及模型微调的几种方式。文章详细解释了LoRA的原理，并提到了使用WD14 Tagger插件节点生成图片标签的方法。
关键要点
-
本文介绍了使用Stable Diffusion生成黏土风格图片的流程和原理。
-
推荐使用ComfyUI工具，能够自由串联模块，流程更清楚。
-
模型checkpoint是微调训练过程中保存的模型参数状态。
-
模型文件后缀.safetensors比早期的.ckpt更安全，避免恶意代码注入。
-
生成黏土风格图片时，提示词需要贴近训练时的文本描述。
-
微调SD模型有三种主要方式：Full Finetune、Dreambooth和LoRA。
-
Full Finetune需要大量数据和计算资源，适合全面调优。
-
Dreambooth适合小数据量训练，能还原特定人物或物品。
-
LoRA训练门槛低，适合个人PC，能用少量图片训练出特定风格模型。
-
LoRA模型通过低秩适应技术，减少存储和计算量。
-
图生图的方式需要将生成空白噪声图改为加载真实图片。
-
使用WD14 Tagger插件生成图片标签，结合LoRA模型触发词生成图片。
-
实现了最简单的黏土风格图生图流程，但仍需解决许多问题。
延伸问答
如何使用Stable Diffusion生成黏土风格的图片？
使用Stable Diffusion生成黏土风格图片的流程包括选择模型、输入提示词，并通过ComfyUI工具进行操作。
LoRA模型的微调原理是什么？
LoRA模型通过低秩适应技术，冻结原网络参数，仅调整独立的低秩矩阵，从而实现低成本、高效的微调。
什么是模型checkpoint，它的作用是什么？
模型checkpoint是在微调训练过程中保存的模型参数状态，包含生成图所需的核心组件，便于后续使用。
使用WD14 Tagger插件的目的是什么？
WD14 Tagger插件用于从图片中生成适用于SD的提示词标签，简化生成过程，无需手动输入提示词。
Full Finetune和Dreambooth的区别是什么？
Full Finetune需要大量数据和计算资源，适合全面调优，而Dreambooth适合小数据量训练，能还原特定人物或物品。
在生成黏土风格图片时，提示词应该如何设置？
提示词需要贴近训练时的文本描述，以提高生成效果，尤其是与黏土风格相关的提示词。
