Sekyoro的博客小屋
·
Dive into fine-tuning methods for SD
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
文生图和图生图技术发展了多种微调方法，如Textual Inversion和DreamBooth。LoRA技术通过调整计算模块提高微调效率，结合不同方法可获得更佳效果。尽管新概念和个性化生成面临挑战，但优化嵌入向量可以解决这些问题。
🎯
关键要点
- 文生图和图生图技术通过微调方法实现个性化生成。
- 常用的微调库是huggingface/peft。
- 在LoRA之前，主要的微调技术包括Textual Inversion和DreamBooth。
- Textual Inversion通过新的词嵌入表示独特概念，解决新概念引入的困难。
- DreamBooth通过稀有标记标识符将主体植入模型输出域，增强生成能力。
- LoRA技术通过修改计算模块提高微调效率，结合其他方法可获得更佳效果。
- LoRA通过低秩分解更新权重，缩短微调过程和训练周期。
- LyCORIS提出了一系列基于LoRA的微调方式，并设计了benchmark测试。
- Adapter与LoRA相似，但更侧重于适应与融合。
- InstantID通过人脸编码器实现零-shot身份保持生成。
- 视频扩散模型可以生成连续图像，形成GIF或视频。
❓
延伸问答
什么是Textual Inversion技术？
Textual Inversion是一种通过新的词嵌入表示独特概念的微调方法，旨在解决将新概念引入模型的困难。
LoRA技术如何提高微调效率？
LoRA通过修改计算模块和低秩分解更新权重，缩短微调过程和训练周期，从而提高微调效率。
DreamBooth与Textual Inversion有什么区别？
DreamBooth通过稀有标记标识符将主体植入模型输出域，并对模型进行微调，而Textual Inversion主要关注词嵌入的学习。
如何使用LoRA进行微调？
使用LoRA进行微调时，冻结预训练模型，并训练一个包含可训练参数的模块，以更新权重。
LyCORIS在微调中提出了哪些新方法？
LyCORIS提出了一系列基于LoRA的微调方式，并设计了benchmark测试，包括LoHA和LoKr等方法。
InstantID技术的主要特点是什么？
InstantID通过人脸编码器实现零-shot身份保持生成，允许用户生成高保真度的ID保持图像，无需文本信息。
➡️
