该文综述文本到图像扩散模型的提示学习研究,涵盖质量与语义指导优化提示、Prompt-Free Diffusion、语义扩散引导、软提示个性化、BeautifulPrompt及Prompt Diffusion等框架,旨在提升文本与生成图像的语义对齐和图像质量。
本文综述了文本到图像扩散模型的个性化与组合生成研究,通过引入新目标函数、软提示、语义匹配及无需训练的方法,提升了图像真实性、文本对齐和多概念生成能力,并实现了主题一致性与个性化定制。
该文综述文本到图像扩散模型的改进:微调文本嵌入实现多概念生成,利用图像信息移除模块提升编辑保真度,借助提示学习优化文本与图像匹配,以及Prompt-Free Diffusion等无需文本提示的合成框架,在个性化、编辑效率和内容审查方面取得进展。
本研究提出了一种快速采用的文本到图像扩散模型,通过分布对齐损失和有偏直接微调,解决了职业提示中的性别、种族偏见。方法具有可扩展性,支持多样观点公平,对文本到图像生成人工智能的社会调整有所帮助。
本文提出了注意力隔离损失和注意力保留损失两种测试时间注意力损失函数,可提高预训练的基线文本到图像扩散模型的性能。注意力隔离损失减少了注意力图之间的交叉重叠,注意力保留损失则强制保留所有概念的交叉注意力信息,减少信息丢失。
DreamAvatar是一个生成高质量、可控制姿态的3D人类头像的框架,使用可训练的NeRF生成3D点密度和颜色特征,以及预先训练的文本到图像扩散模型提供2D自监督。经过评估,证明DreamAvatar优于现有方法,为文本和形状引导的3D人体生成设立了新的技术水准。
本文介绍了DiffBIR,一种利用预训练的文本到图像扩散模型解决盲目图像恢复问题的方法。该方法采用两阶段流程,第一阶段通过在各种退化情况下预训练恢复模块来提高泛化能力,第二阶段利用潜在扩散模型的生成能力实现逼真的图像恢复。实验证明该方法在盲目图像超分辨率和盲目人脸恢复任务上优于现有方法。
本文介绍了一种创新的样式引导扩散模型 (SGDiff),结合了图像模态和预训练的文本到图像扩散模型,以促进创意时尚图像合成。通过混合补充样式引导克服了文本到图像扩散模型的局限性,降低了训练成本,并解决了仅依靠文本输入来控制合成样式的困难。引入了一个新的数据集 - SG-Fashion,提供高分辨率图像和广泛的服装类别。通过削减研究,验证了该模型在生成所需类别、产品属性和样式的时尚图像方面的有效性。贡献包括一种新颖的无分类器引导多模态特征融合方法,提供全面的数据集,对条件文本到图像合成进行了深入研究,并为将来的研究提供了有价值的见解。
完成下面两步后,将自动完成登录并继续当前操作。