ComfyUI 基础教程(四) —— 应用 LoRA 模型控制图像生成特征 - SharpCJ
内容提要
本文介绍了Stable Diffusion中的Lora模型，它是一种用于微调大语言模型的低次序适应技术。Lora模型允许用户在不修改SD大模型的情况下，利用少量数据训练出具有特定画风、IP或人物特征的模型。文章还介绍了Lora模型的使用方法和训练步骤。
延伸解读
LoRA 与主模型版本匹配的重要性
文章强调，使用 LoRA 模型时，其版本必须与主模型版本保持一致。这是因为 LoRA 是在特定基础模型上训练的，如果版本不匹配，可能导致生成效果不佳或出现错误。因此，在下载和使用 LoRA 时，务必确认其兼容的主模型版本，以避免不必要的麻烦。
LoRA 强度参数对生成效果的影响
在 ComfyUI 中，LoRA 加载器提供了模型强度和 Clip 强度两个参数。模型强度数值越大，生成图像越偏向 LoRA 模型风格；Clip 强度则控制文本提示词的强度。用户可以根据需要调整这些参数，以平衡 LoRA 风格与提示词引导，从而获得理想的生成结果。
训练 LoRA 的数据准备要点
训练 LoRA 模型时，数据准备至关重要。文章建议准备不少于 15 张高质量图片，一般 20-50 张，主体清晰、特征明显、构图简单，并涵盖多角度和表情。还需进行打标和优化，删除与目标风格不一致的标签。这些步骤直接影响训练出的模型质量。
Q&A
什么是Lora模型，它的主要用途是什么？
Lora模型是一种低次序适应技术，用于微调大语言模型，允许用户在不修改SD大模型的情况下，利用少量数据训练出具有特定画风或人物特征的模型。
如何使用Lora模型进行图像生成？
使用Lora模型需要下载模型并放置在指定文件夹，设置加载器参数，然后连接主模型的输出到Lora加载器的输入，最后输出连接到Clip文本编码器和采样器。
训练Lora模型需要准备哪些数据？
训练Lora模型需要准备至少15张高质量的训练素材，确保主体清晰可见，并进行打标和优化。
Lora模型的训练过程是怎样的？
训练Lora模型的过程包括下载安装训练器、准备训练数据、配置训练环境参数、开始训练和模型测试。
使用Lora模型有什么优势？
Lora模型允许用户在个人显卡上快速完成训练，提供了更多的创作空间，并且使用简单，适合初学者。
如何在多个Lora模型之间进行切换？
可以通过添加多个Lora加载器并使用Lora堆节点进行加载，依次串联多个Lora模型以实现切换和控制。
