基于直接一致性优化的文本到图像个性化
内容提要
本文综述了文本到图像扩散模型的个性化与组合生成研究，通过引入新目标函数、软提示、语义匹配及无需训练的方法，提升了图像真实性、文本对齐和多概念生成能力，并实现了主题一致性与个性化定制。
延伸解读
个性化与组合生成的技术路线
文章梳理了文本到图像扩散模型在个性化与组合生成上的多种技术路线。早期方法如StyleT2I通过CLIP引导的对比损失和语义匹配损失来解耦属性表示，提升组合性；而后续研究则转向更高效的微调策略，如通过少量图像微调预训练模型绑定唯一标识符。这些路线反映了从依赖外部引导到内部激活共享的演进，旨在平衡生成质量与计算成本。
无需训练方法的优势与实现
无需训练的方法成为重要趋势，如ConsiStory通过共享预训练模型的内部激活和基于对应关系的特征注入，实现一致的主题生成，无需优化步骤。另一项工作则通过调节扩散模型的引导方向，在推理阶段改善提示语义对齐。这些方法避免了额外训练成本，同时保持了预训练模型的多样性，为实际部署提供了更灵活的方案。
多概念生成与语义匹配策略
针对多概念生成中的特征混合问题，研究提出了交叉令牌非极大值抑制等技术，通过收集相似令牌的语义特征来定位贡献，避免不同概念间的干扰。语义匹配策略则将个性化重新构想为匹配过程，并引入语义一致的遮罩策略隔离无关区域。这些方法提升了多概念交互生成的准确性和一致性，同时降低了对预训练模型多样性的破坏。
Q&A
文本到图像个性化中，如何通过新目标函数提升生成质量？
通过引入Separate loss和Enhance loss两种新目标函数，减少物体遮挡区域重叠并最大化注意力分数，从而提升图像真实性、文本-图像对齐性和适应性。
软提示在文本到图像个性化中有什么作用？
软提示允许预训练的文本到图像扩散模型学习一组软提示，从参考图像中借鉴共性，生成具有变化的新实例，并提供文本引导的编辑能力和控制变化的灵活性。
如何解决文本到图像扩散模型在遵循提示语义时的属性误代或忽视问题？
提出一种无需训练的方法，在推理过程中将提示语义分解为概念，监控引导轨迹，并将引导方向调整至模型偏离的概念，从而改善语义对齐。
ConsiStory方法如何实现一致的主题生成？
ConsiStory是一种无需训练的方法，通过共享预训练模型的内部激活，采用基于主题的共享注意力块和基于对应关系的特征注入，促进图像间的一致性，并支持多主题场景。
文本到图像个性化中，如何实现多概念生成？
通过微调预训练文本到图像扩散模型中的文本嵌入，收集与最相似令牌的语义特征，并应用交叉令牌非极大值抑制，避免概念间特征混合，实现自然多概念生成。
StyleT2I框架如何改善文本到图像合成的组合性？
StyleT2I使用CLIP引导的对比损失、语义匹配损失和空间约束来识别属性的潜在方向，解开属性的潜在表示，从而获得更好的组合性。
