培养多轮思维的文本引导图像生成
内容提要
本文综述文本到图像生成与编辑研究，涵盖无需规范化即可快速自定义大规模模型的方法、利用自动描述与交叉注意力保持形状一致的ReDiffuser、兼顾身份保留与多样性的数据中心正则化策略，以及Idea to Image、统一人脸生成框架、基于GAN的多模态编辑、Custom-Edit、编辑操作规划、人类反馈微调和基于大模型与扩散模型的定制助手。
延伸解读
多轮思维如何落地：从单次生成到迭代精炼
文章列举的多个工作体现了“多轮”思路的不同实现方式：Idea to Image 利用 GPT-4V 进行多模态迭代自我精炼，自动完成图像设计与生成；ReDiffuser 通过自动描述与交叉注意力向导保持形状一致性；基于文本到操作的模型则将编辑请求转化为可解释的操作序列。这些方法共同说明，多轮思维并非单一技术，而是涵盖迭代生成、编辑规划与反馈优化的方法集合。
自定义生成的两种路径：快速适配与数据中心正则化
针对个性化视觉概念难以被原始模型捕捉的问题，文章呈现了两类路径。一类是无需规范化即可快速自定义大规模模型的方法，强调在很短时间内完成适配并保留更多细节；另一类采用数据中心的正则化数据集生成策略，在身份保留、多样性和文本对齐之间取得平衡。两者分别从模型适配和数据构建入手，反映了自定义生成的不同侧重点。
编辑能力的关键：引用相似性与源相似性的平衡
Custom-Edit 使用少量参考图像进行模型自定义，目标是在提高引用相似性的同时保持源相似性；基于 GAN 的多模态编辑方法则利用自然语言指令局部修改图像特征，并在多个数据集上展示出更高保真度和语义相关性。这些工作表明，文本引导图像编辑的核心挑战之一，是在引入新概念或修改局部特征时，不破坏原图的结构与语义。
人类反馈与定制助手：对齐与交互的补充手段
文章还介绍了利用人类反馈微调文本到图像生成模型的方法，通过奖励加权似然优化，使生成对象更准确地反映指定颜色、数量和背景等特征，并分析了对齐与准确性之间的权衡。此外，基于预训练大语言模型和扩散模型的定制助手，无需微调即可进行自定义生成，强调与用户更友好的交互。这两类工作分别从反馈对齐和交互方式上补充了多轮思维的能力边界。
Q&A
如何在不使用规范化方法的情况下快速自定义大规模文本到图像生成模型？
该文提出了一种包含编码器网络和新型采样方法的框架，无需规范化方法即可解决过拟合问题，并能在很短时间内自定义大规模文本到图像生成模型，实验证明其优于现有方法且保留更多细节信息。
ReDiffuser 模型是如何在图片编辑中保持形状一致性的？
ReDiffuser 使用自动生成的描述来完成图片编辑，利用再生学习和交叉注意力向导实现形状一致性保留，并引入协作更新策略提高修复质量和一致性，在真实和合成图片编辑上优于现有方法。
如何解决文本到图像生成中身份保留与多样性之间的平衡问题？
该文采用数据为中心的方法，提出一种新颖的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，提高图像质量，并能生成符合输入文本提示的多样样本，在身份保留、多样性和文本对齐之间取得最佳平衡。
Idea to Image 系统是如何利用 GPT-4V 进行图像设计与生成的？
Idea to Image 系统利用 GPT-4V (Vision) 进行多模态迭代自我精炼，实现自动图像设计与生成。
基于 GAN 的统一人脸生成框架是如何处理多模态输入的？
该框架基于预训练的 GAN 模型，使用两种新颖策略直接优化潜在空间的潜在编码，以获取多模态输入的图像生成和操纵，并提出了大型数据集 Multi-Modal CelebA-HQ。
Custom-Edit 方法如何利用少量参考图像进行文本导向的图像编辑？
Custom-Edit 使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。
如何利用人类反馈来改进文本到图像生成模型的对齐效果？
该文介绍了一种微调方法，使用人类反馈对齐文本到图像的深度生成模型，通过分析设计选择平衡对齐-准确性权衡，最终通过奖励加权似然优化，使生成的对象更准确地反映指定颜色、数量和背景等特征，显著改善模型性能。
基于大语言模型和扩散模型的定制助手如何实现无需微调的自定义生成？
该研究建立了基于预训练大型语言模型和扩散模型的定制助手，能够在无需微调的情况下进行自定义生成，实现与用户更友好的交互。
