挑选与绘制：无需训练的文本到图像个性化语义指导
内容提要
该文综述文本到图像生成与个性化方法：通过少量图像微调预训练模型，将标识符绑定特定主题；利用空间特征与自注意力实现结构微调；PanGu-Draw以时间解耦训练提升效率；提出语义扩散引导框架实现细粒度控制；Subject-Diffusion无需测试时微调即可单图生成多主体；并探索数据中心正则化策略，兼顾身份保留、多样性与文本对齐。
延伸解读
个性化文本到图像生成的技术路线
文章梳理了从微调预训练模型到无需测试时微调的多条技术路线。早期方法通过少量图像微调，将唯一标识符绑定到特定主题，实现新颖场景下的高清生成。后续研究转向利用空间特征与自注意力进行结构微调，以及PanGu-Draw的时间解耦训练提升效率。这些进展显示，个性化生成正从依赖微调向更高效、更通用的方向演进。
无需训练与单图生成的实际意义
Subject-Diffusion无需测试时微调，仅需单张参考图像即可生成单一或多个主体，这降低了用户使用门槛。同时，无需训练的语义引导方法通过调节扩散模型的引导方向，改善提示语义对齐。这些技术意味着个性化图像生成可能更快、更易用，但文章也指出当前模型在紧密遵循提示语义方面仍存在困难，可能误代或忽视特定属性。
数据为中心策略的平衡与挑战
文章提到以数据为中心的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，并在身份保留、多样性和文本对齐之间取得最佳平衡。这表明，除了模型架构，数据策略对个性化生成质量至关重要。然而，文章也指出在仅有图像数据集时预训练文本到图像模型的新方法，通过检索和优化合成伪文本特征，这暗示数据获取与标注仍是实际应用中的关键挑战。
Q&A
文本到图像个性化中，如何通过少量图像微调预训练模型？
通过少量输入图像微调预训练的文本到图像模型，将唯一标识符绑定到特定主题上，从而生成该主题在场景、姿态、观点和光照等方面新颖的高清图像。
Subject-Diffusion 模型有什么特点？
Subject-Diffusion 是一种开放域个性化图像生成模型，无需测试时微调，仅需一个参考图像即可支持单一或多个主体的个性化生成。它通过融合文本和图像语义，结合粗粒度位置和细粒度参考图像控制，并采用注意力控制机制来支持多主体生成。
如何解决文本到图像生成中的语义对齐问题？
提出一种无需训练的方法，在推理过程中调节扩散模型的引导方向。将提示语义分解为概念，监控引导轨迹，当模型偏离某个概念时，将引导方向引导至该概念，从而改善语义对齐。
PanGu-Draw 模型采用了什么训练策略？
PanGu-Draw 是一种资源高效的潜在扩散模型，通过时间解耦训练策略和合作扩散算法，实现了高效的文本到图像合成和多控制图像生成。
数据中心正则化策略在个性化图像生成中有什么作用？
数据中心正则化策略通过生成正则化数据集，解决文本连贯性丧失和身份保留问题，提高图像质量，并能生成符合输入文本提示的多样样本，在身份保留、多样性和文本对齐之间取得最佳平衡。
在仅有图像数据集的情况下，如何预训练文本到图像生成模型？
提出一种新方法，通过检索和优化过程综合生成伪文本特征，从而在仅有图像数据集的情况下预训练文本到图像生成模型，可灵活应用于各种情境和模型，实验中 GAN 模型在完全监督下取得了 6.78 的 FID。
