Hugging Face - Blog
·
使用InstructPix2Pix进行Stable Diffusion的指令微调
💡
原文英文，约2200词，阅读约需8分钟。
📝
内容提要
本文介绍了一种instruction-tuning的方法，通过给定输入图像和指令，教会Stable Diffusion执行图像翻译或处理任务。作者通过创建instruction-prompted数据集，使用InstructPix2Pix的训练策略，将其扩展到与图像翻译和低级图像处理相关的更具体的指令。作者还探讨了一些开放性问题，如数据集规模、训练时间和任务混合等。作者希望这项工作为研究类似问题的研究人员提供基础，并激励他们进一步探索开放性问题。
🎯
关键要点
- 本文介绍了一种通过输入图像和指令来教会Stable Diffusion执行图像翻译或处理任务的方法。
- 作者创建了instruction-prompted数据集，并使用InstructPix2Pix的训练策略扩展到更具体的图像翻译和低级图像处理任务。
- instruction-tuning是一种监督学习方法，旨在教会语言模型遵循指令以解决任务。
- 作者的动机是探索是否可以通过特定指令和输入图像来提示Stable Diffusion进行处理。
- 在数据集准备方面，作者创建了用于卡通化的instruction-prompted数据集，并尝试将此方法推广到低级图像处理任务。
- 训练实验表明，微调现有的InstructPix2Pix检查点可以更快适应数据集。
- 在卡通化和低级图像处理任务中，作者的模型在某些情况下表现良好，但在低光图像增强等任务中效果不佳。
- 作者提出了一些开放性问题，如数据集规模、训练时间和任务混合对结果的影响。
- 尽管结果仍然初步，作者希望这项工作为研究类似问题的研究人员提供基础，并激励他们进一步探索开放性问题。
➡️
