无需训练的一致文本图像生成
内容提要
本文综述文本到图像生成的多项进展，包括一致性角色生成、多主题组合、模型个性化、对比学习合成、主体驱动生成、故事可视化、结构微调、无文本预训练及单视图三维生成，并强调交互式细粒度定位控制。
延伸解读
一致性角色生成：自动化迭代方案
文章指出，当前文本到图像模型在生成一致性角色方面存在困难。为此，研究者提出了一种完全自动化的解决方案，仅以文本提示作为输入，通过迭代过程生成一致性角色，并展示了其在多个实际应用中的实践。这为需要角色一致性的场景（如漫画、故事插图）提供了无需人工干预的生成途径。
多主题组合与个性化定制
在多主题约束下，研究关注如何高效表示特定主题并适当组合不同主题。所提方案利用文本嵌入和布局生成图像，实验证明其在多主题自定义方面具有优越性。同时，另一项工作通过少量输入图像微调预训练模型，将唯一标识符绑定到特定主题，从而合成场景、姿态、观点和光照中新颖的高清图像。
无文本预训练与三维生成进展
针对仅有图像数据集的情况，有研究通过检索和优化过程综合生成伪文本特征，实现了文本到图像生成模型的预训练，实验显示GAN模型在完全监督下达到6.78的FID，为当时SoTA。此外，Consist3D三级框架用于单视图图像到三维生成，通过语义、几何和饱和度一致性的追踪，实现更一致、真实和照片逼真的三维效果。
交互式细粒度定位控制
文章还介绍了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力。该方案在图像质量和控制能力方面均表现出超过最先进方法的效果。这表明文本到图像生成正朝着更精细、更可控的方向发展，为用户提供更精确的生成控制。
Q&A
如何生成具有一致性的角色图像？
本文介绍了一种完全自动化的解决方案，仅以文本提示作为输入，通过迭代过程生成一致性角色，并展示了其在多个实际应用中的实践。
如何用少量图像个性化文本到图像模型？
提出了一种新的个性化方法，通过少量输入图像微调预训练的文本到图像模型，使其能够将唯一标识符绑定到特定主题，并生成该主题在场景、姿态、观点和光照中的新颖高清图像。
如何提升文本到图像合成的质量和语义一致性？
提出了一种基于对比学习的文本到图像合成框架，通过改进预训练和GAN训练阶段，在流行数据集上显著提高了合成图像的质量，优于AttnGAN和DM-GAN。
没有文本数据时如何预训练文本到图像生成模型？
提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可灵活应用于各种情境和模型，实验中GAN模型在完全监督下达到了6.78的FID，是当时最新的SoTA结果。
如何从单视图图像生成三维内容？
提出了一种称为Consist3D的三级框架，用于单视图图像到三维生成，包括语义、几何和饱和度一致性的追踪，通过学习参数化一致性令牌和优化阶段，实现更加一致、真实和照片逼真的三维效果。
如何实现交互式细粒度定位的图像生成？
提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。
