通过自动提示优化提升文本到图像的一致性
内容提要
本文提出了一种通用提示优化器，用于黑盒情况下的安全文本到图像生成，旨在降低不当图像生成的概率并保持文本对齐。研究还介绍了自适应提示适配框架和提示扩展框架，以生成更高质量的图像。同时，强调了隐性提示的潜在风险，呼吁T2I社区关注其影响。改进的提示工程方法显著提升了生成质量。
延伸解读
隐性提示：安全约束的潜在漏洞
文章指出，隐性提示（暗示目标而不明确提及）可能绕过T2I模型的安全约束，带来隐私泄露和不当内容生成的风险。ImplicitBench基准测试显示，大多数模型的安全限制可被隐性提示绕过。这提醒开发者和用户，仅依赖显性提示过滤不足以保障安全，需要更全面的内容审核机制。
提示优化：从手动到自动的演进
文章介绍了多种提示优化方法，如自适应提示适配框架和Prompt Expansion，它们利用预训练语言模型自动优化提示，生成更高质量和多样化的图像。实验表明，自动优化优于手动工程，且能提升图像美观度和文本对齐。这降低了用户编写有效提示的门槛，推动了T2I技术的普及。
安全与质量的平衡：SSP方法的启示
简单安全的提示工程方法（SSP）通过附加相机描述，在提升图像生成质量的同时增强了安全性，实验显示语义一致性提高16%，安全性指标提升48.9%。这表明，通过巧妙的提示设计，可以在不牺牲性能的前提下加强安全，为T2I系统的实际部署提供了可行方案。
用户输入与训练数据的差距
研究发现，用户输入的文本与生成模型的训练数据之间存在显著差距，这可能导致生成结果不符合预期。文章建议通过改进系统性能来缩小这一差距，例如优化提示工程或调整模型训练。这提示我们，提升T2I系统的实用性需要关注真实用户输入与模型理解之间的鸿沟。
Q&A
什么是通用提示优化器，它的主要功能是什么？
通用提示优化器用于黑盒情况下的安全文本到图像生成，旨在减少不当图像生成的概率并保持文本对齐。
自适应提示适配框架是如何工作的？
自适应提示适配框架使用预训练语言模型进行微调，并通过强化学习探索更好的提示，以生成更具美感的图像。
隐性提示对文本到图像模型有什么潜在风险？
隐性提示可能绕过安全约束，导致隐私泄露和不当内容生成的风险。
Prompt Expansion 框架的作用是什么？
Prompt Expansion 框架帮助用户生成高质量多样化的图像，通过优化扩展文本提示来提升图像的吸引力。
简单安全的提示工程方法（SSP）如何提高图像生成质量？
SSP通过提供最佳相机描述来改进图像生成质量，实验证明其提高了语义一致性和安全性指标。
研究中提到的隐性提示基准ImplictBench的目的是什么？
ImplicitBench旨在评估隐性提示对流行T2I模型的性能和影响，关注其潜在风险。
