JeDi：联合图像扩散模型用于零微调个性化文本到图像生成
内容提要
本文提出了一种名为Subject-Diffusion的开放域个性化图像生成模型，能够通过参考图像实现个性化生成。研究构建了一个包含7600万图像的大规模数据集，并设计了统一框架以提高生成准确性。该模型在单一和多主体生成方面优于现有技术，采用注意力控制机制增强生成效果。
延伸解读
零微调个性化的技术路径
Subject-Diffusion 的核心创新在于无需测试时微调，仅凭单张参考图像即可实现开放域个性化生成。这避免了传统方法如 Textual Inversion 或 DreamBooth 所需的逐主体优化，大幅降低了使用门槛和计算成本。其统一框架融合文本与图像语义，并引入粗粒度位置和细粒度参考控制，旨在平衡生成准确性与泛化能力。
大规模数据集的构建与作用
研究构建了包含 7600 万图像的数据集，每张图像均标注了主体检测边界框、分割掩模和文本描述。这一数据规模为模型学习开放域主体表示提供了基础，使模型能够泛化到未见过的概念。自动数据标注工具的使用保证了数据集的扩展性，但标注质量可能影响生成效果，需关注后续验证。
多主体生成的注意力控制
针对多主体生成场景，模型采用注意力控制机制来协调不同主体的生成过程。这有助于避免主体混淆或属性泄漏，提升多主体组合的准确性。实验表明，该方法在单一和多主体生成上均优于现有技术，但多主体生成仍面临布局控制和身份保持的挑战，实际应用中需注意主体间的相互干扰。
与现有方法的对比定位
文章将 Subject-Diffusion 与 Textual Inversion、DreamBooth、Custom Diffusion 等个性化方法进行了对比。这些方法通常需要少量图像微调，而 Subject-Diffusion 强调零微调，在便捷性上具有优势。然而，零微调方法可能在极端新颖场景下泛化能力有限，且对参考图像质量敏感，用户需权衡效率与定制精度。
Q&A
Subject-Diffusion模型的主要功能是什么？
Subject-Diffusion模型支持通过参考图像实现个性化生成单一或多个主体，无需微调。
该模型是如何提高生成准确性的？
模型通过融合文本和图像语义，并结合位置和参考图像控制来提高生成准确性。
研究中使用了多大的数据集？
研究构建了一个包含7600万图像的大规模数据集。
Subject-Diffusion模型在多主体生成方面的表现如何？
实验结果表明，该模型在多主体生成方面优于现有技术。
该模型采用了什么机制来增强生成效果？
模型采用了注意力控制机制来增强多主体生成效果。
如何实现个性化图像生成？
个性化图像生成通过使用参考图像和不需要微调的方式实现。
