Hugging Face - Blog
·
开源SD-Small和SD-Tiny的知识蒸馏代码和权重
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
Segmind开源了SD-Small和SD-Tiny的知识蒸馏代码和权重，这些压缩模型在图像质量上与基础模型相当，但参数减少了35%和55%。他们还提供了蒸馏代码和预训练检查点，这些模型比原始模型快100%。然而，这些模型目前不适合生产环境，适合特定概念/风格的微调或LoRA训练。他们邀请开源社区帮助改进和推广这些模型，并欢迎用户在GitHub上给他们一个星星。
🎯
关键要点
- Segmind开源了SD-Small和SD-Tiny的知识蒸馏代码和权重，参数减少了35%和55%。
- 这些压缩模型在图像质量上与基础模型相当，且推理速度提高了100%。
- 目前这些模型不适合生产环境，适合特定概念/风格的微调或LoRA训练。
- Segmind使用知识蒸馏技术训练了这两个压缩模型，保持了模型质量。
- 模型使用DiffusionPipeline进行调用，提供了示例代码。
- 蒸馏模型在推理延迟方面表现出色，但输出质量尚未达到生产标准。
- 对SD-tiny模型进行了肖像数据集的微调，参数减少近40%。
- LoRA训练在蒸馏模型上具有更快的训练速度。
- Segmind邀请开源社区帮助改进这些模型，并欢迎用户在GitHub上给他们一个星星。
➡️
