RealCustom++：将图像表示为真实词以实现实时定制
内容提要
本文介绍了一种新的个性化文本到图像模型，通过少量输入图像微调预训练模型，实现高质量图像生成。研究提出了多主题生成的解决方案，利用文本嵌入和布局增强图像-文本对齐效果。同时，介绍了基于文本的图像修复技术，结合文本和示例图像进行修复，确保主题一致性和视觉质量。此外，ConsiStory方法实现了无需训练的主题一致性生成，LAR-Gen则专注于遮挡场景的修复，展现了在身份保护和文本语义一致性方面的优势。
延伸解读
个性化文本到图像生成的技术演进
文章梳理了从2022年8月到2024年6月个性化文本到图像生成的发展脉络。早期方法如FastComposer通过图像编码器提取主题嵌入，实现高效多主题生成；随后InstructBooth、DreamInpainter、ConsiStory等方法分别针对图像-文本对齐、主题驱动修复和无训练一致性生成进行优化。RealCustom++作为最新进展，通过解耦框架平衡相似性与可控性，体现了该领域从微调向免训练、从单主题向多主题、从生成向修复的扩展趋势。
多主题生成中的身份混合与效率挑战
文章指出，多主题生成面临身份混合问题，即不同主题的特征可能相互干扰。FastComposer通过跨注意力本地化监督和延迟立体雕塑来处理该问题，并实现了相对于微调方法数百到数千倍的加速。这表明，在保持生成质量的同时提升效率、避免主题混淆，是个性化生成的关键技术难点，也是后续研究持续改进的方向。
主题驱动图像修复的技术要点
针对图像修复任务，文章介绍了DreamInpainter和LAR-Gen两种方法。DreamInpainter采用两步法，通过计算密集的主题特征确保准确复制，并利用令牌选择模块消除多余细节，同时引入解耦正则化增强文本控制。LAR-Gen则通过粗到细的方式保证主题身份和本地语义一致性，并构建新数据流程解决训练数据稀缺问题。两者均强调在修复中平衡主题保真与文本语义一致性。
无需训练的主题一致性生成
ConsiStory提出了一种无需训练的方法，通过共享预训练模型的内部激活来实现一致的主题生成，并采用基于主题的共享注意力块和基于对应关系的特征注入来促进图像间一致性。实验表明，该方法在主题一致性和文本对齐方面达到最先进性能，且无需任何优化步骤，并可扩展到多主题场景。这为个性化生成提供了更高效、灵活的解决方案。
Q&A
RealCustom++模型的主要功能是什么？
RealCustom++模型通过少量输入图像微调预训练模型，实现高质量的个性化文本到图像生成。
FastComposer如何提高多主题生成的效率？
FastComposer利用图像编码器提取的主题嵌入，增强扩散模型中的文本调节，从而实现高效的多主题生成。
ConsiStory方法的优势是什么？
ConsiStory是一种无需训练的方法，能够实现一致的主题生成，并在主题一致性和文本对齐方面表现优越。
LAR-Gen在图像修复中有什么特别之处？
LAR-Gen专注于遮挡场景的修复，结合文本提示和指定主题，确保主题身份和语义一致性。
DreamInpainter方法的工作原理是什么？
DreamInpainter通过计算密集的主题特征和有区分性的令牌选择模块，确保准确的主题复制和细节控制。
如何实现文本导向的主题驱动图像修复？
通过结合文本和示例图像，采用两步法的方法来进行图像修复，确保主题一致性和视觉质量。
