文本到图像合成的语义感知数据增强

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过SADA框架提升T2Isyn模型的文本-图像一致性和图像质量。SADA使用ITA扩充文本的语义空间,并使用Lr作为生成图像的语义保持。实验证实SADA在各种模型中提升了文本-图像一致性和图像质量。

🎯

关键要点

  • 通过语义感知数据增强 (SADA) 框架提升文本到图像合成 (T2Isyn) 模型的文本-图像一致性和图像质量。
  • SADA框架通过隐式文本语义保持增强 (ITA) 扩充文本的语义空间。
  • 结合特定设计的图像语义正则化损失 (Lr) 作为生成图像的语义保持。
  • SADA框架解决了语义不匹配和坍塌问题。
  • 大量实验证实SADA在各种模型中提升了文本-图像一致性和图像质量。
  • 特别是在Stable Diffusion模型调整过程中的改进效果显著。
➡️

继续阅读