CustomContrast:一种多层对比视角用于基于主题的文本到图像定制
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了现有基于主题的文本到图像定制中对无关属性与主题固有属性的误解问题。我们提出了CustomContrast框架,采用跨差异视角,通过多层对比学习解耦固有属性与无关属性,从而提高了模型对固有属性的关注度。实验结果表明,CustomContrast在主题相似性和文本可控性方面表现出色,具有显著的应用潜力。
Diffusion是一种新的开放域个性化图像生成模型,通过一个参考图像生成单一或多个主体。它使用自动数据标注工具和LAION-Aesthetics数据集构建了大规模数据集。通过融合文本和图像语义,以及粗粒度位置和细粒度参考图像控制,最大化主体的准确性和一般化能力。采用注意力控制机制支持多主体生成。在单一、多个和人类定制的图像生成方面优于其他框架。