Sekyoro的博客小屋
·
Dive into fine-tuning methods for SD
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
文生图和图生图技术发展了多种微调方法，如Textual Inversion和DreamBooth。LoRA技术通过调整计算模块提高微调效率，结合不同方法可获得更佳效果。尽管新概念和个性化生成面临挑战，但优化嵌入向量可以解决这些问题。
🎯
关键要点
- 文生图和图生图技术通过微调方法实现个性化生成。
- 常用的微调库是huggingface/peft。
- 在LoRA之前，主要的微调技术包括Textual Inversion和DreamBooth。
- Textual Inversion通过新的词嵌入表示独特概念，解决新概念引入的困难。
- DreamBooth通过稀有标记标识符将主体植入模型输出域，增强生成能力。
- LoRA技术通过修改计算模块提高微调效率，结合其他方法可获得更佳效果。
- LoRA通过低秩分解更新权重，缩短微调过程和训练周期。
- LyCORIS提出了一系列基于LoRA的微调方式，并设计了benchmark测试。
- Adapter与LoRA相似，但更侧重于适应与融合。
- InstantID通过人脸编码器实现零-shot身份保持生成。
- 视频扩散模型可以生成连续图像，形成GIF或视频。
➡️
