bang's blog
·
在复刻黏土风图生成中学习(1) — 模型微调/LoRA 原理/图生图
💡
原文中文，约5700字，阅读约需14分钟。
📝
内容提要
本文介绍了使用Stable Diffusion生成黏土风格图片的流程和原理，包括ComfyUI和模型的组合使用，以及模型微调的几种方式。文章详细解释了LoRA的原理，并提到了使用WD14 Tagger插件节点生成图片标签的方法。
🎯
关键要点
- 本文介绍了使用Stable Diffusion生成黏土风格图片的流程和原理。
- 推荐使用ComfyUI工具，能够自由串联模块，流程更清楚。
- 模型checkpoint是微调训练过程中保存的模型参数状态。
- 模型文件后缀.safetensors比早期的.ckpt更安全，避免恶意代码注入。
- 生成黏土风格图片时，提示词需要贴近训练时的文本描述。
- 微调SD模型有三种主要方式：Full Finetune、Dreambooth和LoRA。
- Full Finetune需要大量数据和计算资源，适合全面调优。
- Dreambooth适合小数据量训练，能还原特定人物或物品。
- LoRA训练门槛低，适合个人PC，能用少量图片训练出特定风格模型。
- LoRA模型通过低秩适应技术，减少存储和计算量。
- 图生图的方式需要将生成空白噪声图改为加载真实图片。
- 使用WD14 Tagger插件生成图片标签，结合LoRA模型触发词生成图片。
- 实现了最简单的黏土风格图生图流程，但仍需解决许多问题。
➡️
