面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt
原文中文,约2700字,阅读约需7分钟。发表于: 。可以从简单的图片描述中生成高质量的提示词,从而使文生图模型能够生成更美观的图像。BeautifulPrompt通过对低质量和高质量的提示进行微调,并进一步提出了一种基于强化学习和视觉信号反馈的技术,以最大化生成提示的奖励值。
阿里云与华南理工大学合作在EMNLP2023上发表了BeautifulPrompt深度生成模型,通过简单图片描述生成高质量提示词,提升文生图模型生成图像的美观度。算法通过微调低质量和高质量提示,并采用强化学习和视觉信号反馈技术,最大化生成提示的奖励值。该研究探索了为深度生成模型提供提示的提示工程领域,并将源代码贡献给EasyNLP开源框架。