获取你想要的，而不是你不想要的：用于文本到图像扩展模型的图像内容抑制
内容提要
该文综述文本到图像扩散模型的改进：微调文本嵌入实现多概念生成，利用图像信息移除模块提升编辑保真度，借助提示学习优化文本与图像匹配，以及Prompt-Free Diffusion等无需文本提示的合成框架，在个性化、编辑效率和内容审查方面取得进展。
延伸解读
文本嵌入微调：低成本多概念生成
文章介绍了一种通过对预训练文本到图像扩散模型的文本嵌入进行微调的方法，实现自然的多概念生成，且不增加扩散步骤中的训练或推理成本。该方法通过收集与最相似令牌的语义特征来定位贡献，并应用交叉令牌非极大值抑制来避免概念混合，在文本到图像、图像操作和个性化任务中优于先前方法。
图像信息移除模块：提升编辑保真度
文章提出利用图像信息移除模块精准去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑。该方法在三个基准数据集上达到了最佳的可编辑性与保真度平衡，且编辑图像比COCO上的先前作品更受注释者欢迎。
Prompt-Free Diffusion：无需文本提示的合成
文章介绍了Prompt-Free Diffusion框架，它基于仅视觉输入，不需要文本提示就能生成新图像，核心架构是语义上下文编码器（SeeCoder）。该框架在基于示例的合成方法上优于先前方法，在遵循最佳实践的提示下，也能与最先进的T2I模型相媲美。
概念审查：防止个性化技术滥用
文章提到通过在Textual Inversion嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。这为内容审查提供了一种技术手段，但可能涉及对生成内容的控制与伦理平衡。
Q&A
如何在不增加训练或推理成本的情况下实现多概念文本到图像生成？
通过对预训练文本到图像扩散模型中的文本嵌入进行微调，并应用交叉令牌非极大值抑制来避免不同概念之间的特征混合，从而在扩散步骤中不增加附加的训练或推理成本。
文本到图像编辑中如何平衡可编辑性和保真度？
利用 Image Information Removal 模块精准去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而在三个基准数据集上达到最佳的可编辑性-保真度平衡。
Prompt-Free Diffusion 是什么？它如何生成图像？
Prompt-Free Diffusion 是一种基于仅视觉输入、不需要文本提示就能生成新图像的图像合成框架，其核心架构是语义上下文编码器 (SeeCoder)，在图像合成方面表现出色，能与最先进的 T2I 模型相媲美。
如何通过提示学习提高输入文本和生成图像之间的匹配度？
通过 prompt 学习，利用预训练扩散模型导出的质量指导和语义指导，学习扩散模型适当的文本描述，从而有效提高输入文本和生成图像之间的匹配。
如何防止个性化文本到图像生成技术被滥用？
通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。
如何仅用一张图像和目标文本实现背景、纹理和动态的编辑？
基于高度个性化文本嵌入，通过分解 CLIP 嵌入空间来实现个性化和内容操作，仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。
