基于对象驱动的一次性细调文本到图像扩散与原型嵌入
内容提要
本文综述文本到图像个性化生成技术，涵盖基于编码器与扩散模型的方法，通过少量图像微调实现定制对象生成，支持控制位置、大小及多概念组合。研究提出适配器层、区域引导采样、交叉令牌抑制等策略，提升图像质量与保真度，并构建大规模数据集支持开放域多主体生成。
延伸解读
技术演进：从微调到免调优
文章梳理了文本到图像个性化生成的技术路线。早期方法如Textual Inversion和Custom Diffusion需针对每个新概念进行微调，耗时且计算成本高。而Subject-Diffusion等新模型无需测试时微调，仅凭单张参考图像即可生成多主体，大幅提升了实用性和效率。
关键挑战：多概念组合与特征混合
多概念生成时，不同概念的特征容易混合，导致图像失真。文章提到交叉令牌非极大值抑制等技术，通过抑制相似令牌的响应来避免特征干扰。此外，区域引导采样和注意力控制机制可精确控制每个对象的位置和大小，提升生成质量。
数据与评估：大规模数据集推动开放域生成
为支持开放域多主体生成，研究者构建了包含7600万图像的大规模数据集，并自动标注边界框、分割掩模和文本描述。定量和定性结果表明，Subject-Diffusion在单主体、多主体及人类定制生成任务上均优于现有框架，凸显了数据规模对模型泛化能力的重要性。
Q&A
文本到图像个性化生成中，如何通过少量图像微调实现定制对象生成？
通过微调预训练的文本到图像扩散模型，将唯一标识符绑定到特定主题上，从而用少量输入图像生成该主题在新场景、姿态、视角和光照下的高清图像。
有哪些技术可以控制生成图像中对象的位置和大小？
通过插入适配器层引导扩散模型专注于对象身份，并采用区域引导抽样技术，可以控制每个生成个性化对象的位置和大小，同时保持图像质量和保真度。
如何实现多概念文本到图像生成而不增加额外训练成本？
通过微调预训练文本到图像扩散模型中的文本嵌入，并应用交叉令牌非极大值抑制来避免不同概念之间的特征混合，从而在不增加扩散步骤训练或推理成本的情况下实现多概念生成。
Subject-Diffusion模型有什么特点？它需要测试时微调吗？
Subject-Diffusion是一种开放域个性化图像生成模型，不需要测试时微调，仅需一个参考图像就能在任何领域支持单一或多个主体的个性化生成。它通过融合文本和图像语义，结合粗粒度位置和细粒度参考图像控制，并采用注意力控制机制支持多主体生成。
构建大规模数据集用于开放域多主体生成时，采用了什么方法？
通过自动数据标注工具和使用LAION-Aesthetics数据集，构建了一个包含7600万图像及其对应主体检测边界框、分割掩模和文本描述的大规模数据集。
Custom Diffusion方法在文本到图像生成中有什么优势？
Custom Diffusion只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，在新颖环境中无缝组合生成多个概念，且在记忆和计算效能方面具有优势。
