基于 SSP 的简化且安全的自动提示工程方法用于 LVM 上逼真图像合成
内容提要
该文综述文本到图像生成中的提示学习与数据增强研究：利用大语言模型生成和优化提示、合成训练数据，并结合去噪、强化学习与视觉反馈提升数据质量与图像美感；提出LoGoPrompt、BeautifulPrompt、自适应提示适配及交互式文本到图像等方法，在少样本学习、泛化和图像生成任务上优于基准。
延伸解读
从提示优化到数据增强的连贯脉络
文章梳理的多项工作显示，提示工程正从手工调参转向自动化与数据驱动。早期方法如自适应提示适配用强化学习探索提示，BeautifulPrompt 则用视觉反馈优化提示生成；后续研究进一步将大语言模型作为数据增强工具，合成类别相关的文本图像作为视觉提示。这一脉络表明，提示质量与训练数据质量正被统一到同一优化框架中，而非孤立处理。
合成数据的质量把关机制
文章特别提到利用去噪机制提高生成数据质量，并强调在复杂预测任务中保留标签语义。这提示读者：合成数据并非越多越好，若生成内容偏离类别语义，反而会引入噪声。LoGoPrompt 将合成文本图像作为视觉提示，以及通过图像字幕和类名引导生成更具信息性和多样性的数据，都体现了对数据相关性与多样性的双重关注，这是评估此类方法时值得留意的维度。
交互式文本到图像的实用取向
文章介绍的 iT2I 任务允许用户与语言模型交互来生成、编辑和精炼图像，并在 ChatGPT、LLAMA、Baichuan 和 InternLM 等模型上评估，声称能以低成本为现有系统引入该功能，且对语言模型原有问答和代码能力影响很小。这表明该方向注重落地兼容性，而非替换现有模型。读者可关注其在不同语言模型和文本到图像模型组合下的实际表现差异。
Q&A
如何利用大型语言模型作为数据增强工具来生成高质量的训练数据？
文章介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。
LoGoPrompt方法在视觉-语言模型中有什么作用？
LoGoPrompt通过引入合成文本图像作为类别相关的视觉提示，探索了视觉-语言模型中视觉提示的作用，该方法在少样本学习、从基础到新领域的泛化以及领域泛化方面表现出一致优于现有方法的实验结果。
BeautifulPrompt是如何从简单描述生成高质量提示的？
BeautifulPrompt是一个深度生成模型，可以从非常简单的原始描述中生成高质量的提示，从而使基于扩散模型生成更美丽的图像。它使用视觉AI反馈的强化学习技术来进一步优化模型，以提高生成的提示和图像的质量，并已集成到云原生AI平台提供云端文本到图像生成服务。
文本到图像生成系统中用户输入与训练数据之间存在什么差距？
文章进行了第一次大规模的记录，这些记录由多个文本到图像生成系统收集。研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距，并建议了如何提高这些系统的性能。
如何通过两阶段方法增强扩散模型的推理能力以生成符合布局的图像？
该论文介绍了一种使用预训练大型语言模型对扩散模型进行增强推理能力的方法，包括两个阶段：第一阶段使用大型语言模型生成场景布局；第二阶段使用一个新的控制器来生成与布局条件相符的图像。实验结果表明，该方法能更准确地生成需要语言和空间推理的图像。
自适应提示适配框架如何优于手动提示工程？
该研究提出了一种文本生成图像的自适应提示适配框架，使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像。实验结果表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已经公开发布。
交互式文本到图像（iT2I）任务是什么？如何实现？
交互式文本到图像（iT2I）是一种新任务，人们可以与LLM进行交互，以生成、编辑、精炼高质量图片，并通过自然语言进行问题回答。通过引入提示技术和现成的T2I模型，文章提出了一种简单的方法来增强LLMs在iT2I上的能力，并在不同LLMs下评估，证明可以方便、低成本地为任何现有LLMs和任何文本到图像模型引入iT2I功能，同时对LLMs固有能力造成很小降低。
合成数据的训练效果与提示诱导的合成数据分布之间有什么关系？
论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系，并相应地提出了一种简单而有效的方法，通过图像字幕和类名来提示生成模型，从而合成更具信息性和多样性的训练数据。实验证明，该方法显著提高了在合成训练数据上训练的模型的表现。
