Espresso：文本到图像模型中的鲁棒概念过滤
内容提要
本文提出了一种低成本的文本到图像生成方法，通过微调预训练模型实现多概念生成。采用交叉注意力引导，分解多个概念，提升图像保真度和文本对齐度。实验结果表明，该方法在生成质量上优于现有模型，并有效去除不良概念，保持其他元素的完整性。
延伸解读
多概念生成中的特征混合问题与解决方案
文章指出，多概念文本到图像生成常面临不同概念特征混合的挑战，导致生成质量下降。为此，作者采用交叉令牌非极大值抑制，在扩散步骤中避免特征混合，从而提升图像保真度和文本对齐度。这一方法无需额外训练或推理成本，为多概念生成提供了高效解决方案。
概念消除方法的脆弱性及其对AI安全的影响
文章提及，近期研究显示五种概念消除方法均无法完全抹除目标概念，且通过特殊学习词嵌入可找回被消除的概念。这突显了事后概念消除的脆弱性，对其在AI安全工具箱中的应用提出了质疑。读者需注意，概念消除并非一劳永逸，可能需结合其他安全措施。
交叉注意力引导在概念定位中的优势
文章强调，提出的交叉注意力引导方法能生成与目标概念一致的交叉注意力映射，这是现有模型所不具备的能力。通过分解多个概念，在文本提示中建立视觉表示与标识符令牌的明确连接，该方法在多概念输入图像上实现了更优的保真度和对齐度，为个性化生成提供了新思路。
Q&A
Espresso方法如何实现多概念文本到图像生成？
Espresso方法通过微调预训练模型中的文本嵌入，结合交叉注意力引导，分解多个概念，从而实现多概念文本到图像生成。
该方法在生成质量上与现有模型相比有什么优势？
实验结果表明，Espresso方法在图像保真度和文本对齐度上优于现有模型，能够更好地生成高质量图像。
如何去除不良概念而不影响其他元素？
通过引入可学习提示，Espresso方法能够有效去除不良概念，同时减少对模型参数和文本输入的依赖，保持其他元素的完整性。
交叉令牌非极大值抑制的作用是什么？
交叉令牌非极大值抑制用于避免不同概念之间的特征混合，从而提升生成质量。
Espresso方法如何处理多概念输入图像？
Espresso方法采用交叉注意力引导，分解多个概念，并在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接，以处理多概念输入图像。
Espresso方法在实验中取得了哪些具体的性能提升？
在实验中，Espresso方法的单一概念生成的CLIP-I得分提高了7.04%至8.13%，多概念生成的CLIP-T得分提高了2.22%至5.85%。
