面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt
💡
原文中文，约2700字，阅读约需7分钟。
📝
内容提要
阿里云与华南理工大学合作在EMNLP2023上发表了BeautifulPrompt深度生成模型，通过简单图片描述生成高质量提示词，提升文生图模型生成图像的美观度。算法通过微调低质量和高质量提示，并采用强化学习和视觉信号反馈技术，最大化生成提示的奖励值。该研究探索了为深度生成模型提供提示的提示工程领域，并将源代码贡献给EasyNLP开源框架。
🎯
关键要点
- 阿里云与华南理工大学合作在EMNLP2023上发表了BeautifulPrompt深度生成模型。
- BeautifulPrompt可以从简单的图片描述中生成高质量的提示词，提升文生图模型生成图像的美观度。
- 算法通过微调低质量和高质量提示，并采用强化学习和视觉信号反馈技术，最大化生成提示的奖励值。
- 文生图技术旨在通过文本输入创建逼真的图像，近年来得到了快速发展。
- 提示工程是一个新兴的研究领域，旨在提高人与AI之间的直接交互效率。
- 提出了自动化收集prompt优化的数据集方案，分为低质量提示和高质量提示。
- 使用BLIP和ChatGPT等工具对提示进行处理和优化，获得大量提示对。
- 算法评测通过模型打分和人类主观评估验证了BeautifulPrompt的有效性。
- BeautifulPrompt的源代码将贡献给EasyNLP开源框架，供NLP从业人员和研究者使用。
➡️
