现实与幻想的构建：LLM 辅助提示解释的现场生成
内容提要
该文章介绍了一种新型文本到图像生成框架RPG，利用多模态大型语言模型（LLMs）增强推理能力，提升图像生成的准确性和一致性。该方法分两个阶段生成图像：首先生成场景布局，然后生成符合布局的图像。实验结果表明，该框架在复杂场景生成方面优于现有模型，如DALL-E 3和SDXL。
延伸解读
两阶段生成：先布局后细化
RPG框架采用两阶段生成策略：首先利用多模态LLM从文本提示中提取前景对象的边界框坐标、详细描述和背景上下文，形成场景布局；然后基于该布局生成图像，并通过迭代细化方案评估和修正内容，确保与文本描述一致。这种分步方式有助于提升复杂场景的生成质量。
训练自由：无需额外训练的优势
RPG是一种基于训练自由的框架，意味着它不需要针对特定任务重新训练模型，而是直接利用预训练的多模态LLM和扩散模型。这降低了计算成本和部署门槛，同时保持了较强的泛化能力，为文本到图像生成提供了一种高效灵活的解决方案。
性能对比：优于DALL-E 3和SDXL
实验结果表明，RPG在复杂场景生成方面优于DALL-E 3和SDXL等先进模型，尤其在多类别对象组合和文本-图像语义对齐上表现更佳。用户研究进一步验证了其在从复杂文本输入生成连贯详细场景方面的有效性，显示出在需要语言和空间推理的任务中的优势。
Q&A
RPG框架的主要功能是什么？
RPG框架通过利用多模态大型语言模型增强推理能力，分两个阶段生成图像，提升文本到图像生成的准确性和一致性。
RPG框架是如何生成图像的？
RPG框架首先生成场景布局，然后根据布局生成符合的图像，确保与文本描述的一致性。
RPG框架与DALL-E 3和SDXL相比有什么优势？
实验结果表明，RPG在复杂场景生成方面优于DALL-E 3和SDXL，具有更好的召回率和语义对齐能力。
RPG框架如何提升文本到图像的组合性？
RPG框架通过增强推理能力，能够更准确地生成需要语言和空间推理的图像，从而提升组合性。
RPG框架的实验结果如何？
实验结果显示，RPG框架在生成复杂场景时表现优异，能够生成连贯且详细的场景。
RPG框架的生成过程分为几个阶段？
RPG框架的生成过程分为两个阶段：生成场景布局和生成符合布局的图像。
