ComFusion: 多个特定场景中的个性化主题生成 单图像
内容提要
本文综述了文本生成图像领域的多项进展：Text2Scene无需GAN即可生成可解释场景；TextFusion融合文本与图像模态；个性化方法通过少量图像微调模型以绑定特定主题；FastComposer实现高效多主题生成；Texual Localization解决多概念指定难题；ConsiStory无需训练即可保持主题一致；直接一致性优化提升组合能力。
延伸解读
个性化文本生成图像的技术路线
文章梳理了多种个性化文本生成图像方法，主要分为微调与免训练两类。微调方法如Textual Inversion通过少量图像绑定特定主题，FastComposer则利用主题嵌入和跨注意力本地化实现高效多主题生成，速度提升数百至数千倍。免训练方法如ConsiStory通过共享预训练模型内部激活保持主题一致，无需优化步骤。这些方法各有侧重，读者可根据需求选择。
多概念生成的挑战与解决方案
多概念生成面临目标概念指定困难，容易导致身份混合。文章介绍了Texual Localization方法，通过交叉注意力引导分解多个概念，在文本提示中建立视觉表示与标识符令牌的明确连接，从而提升图像保真度和文本对齐。实验显示，该方法在单概念生成中CLIP-I得分相对提高7.04%和8.13%，多概念生成中CLIP-T得分相对提高2.22%和5.85%。
免训练一致性与组合能力优化
ConsiStory无需训练即可实现主题一致生成，通过共享注意力块和对应关系特征注入促进图像间一致性，并能扩展到多主题场景。直接一致性优化则通过最小程度微调预训练模型，最大化与参考图像的一致性并惩罚偏差，显著提升个性化模型的组合能力，并引入控制图像保真度与提示保真度权衡的采样方法。
Q&A
Text2Scene 是什么？它有什么特别之处？
Text2Scene 是一种从自然语言描述生成场景表示的模型。与基于 GAN 的方法不同，它通过依次生成对象及其属性来学习生成场景，支持卡通样式场景、对象布局和合成图像等多种形式，且结果具有可解释性。
TextFusion 如何融合文本和图像？
TextFusion 利用视觉-语言模型建立文本与图像信号的粗粒度关联，并在变换器网络中嵌入仿射融合单元，在特征级别融合文本和图像模态。该方法还发布了文本注释的图像融合数据集 IVT，实验证明其优于传统的基于外观的融合方法。
个性化文本生成图像模型如何用少量图像绑定特定主题？
通过微调预训练的文本生成图像模型，将唯一标识符绑定到特定主题上，从而能够综合出场景、姿态、观点和光照中出现的主题的新颖高清图像。
FastComposer 如何实现高效的多主题生成？
FastComposer 使用图像编码器提取的主题嵌入来增强扩散模型中的通用文本调节，并通过跨注意力本地化监督和延迟立体雕塑处理多主题生成中的身份混合问题，相对于基于微调的方法获得了数百到数千倍的加速。
Texual Localization 解决了多概念输入中的什么问题？
Texual Localization 解决了多概念输入图像中目标概念的指定困难。它采用新颖的交叉注意力引导方法，在微调过程中分解多个概念，在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接，从而生成与目标概念一致的交叉注意力映射。
ConsiStory 如何在不训练的情况下保持主题一致性？
ConsiStory 通过共享预训练模型的内部激活来实现一致的主题生成，采用基于主题的共享注意力块和基于对应关系的特征注入来促进图像之间的一致性。无需任何优化步骤，即可在主题一致性和文本对齐方面达到最先进性能，并可扩展到多主题场景。
直接一致性优化是什么？它有什么作用？
直接一致性优化是一种新的训练目标，通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，对预训练 T2I 扩散模型进行最小程度微调。它简单且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。
