PaRa: 個性化文本到圖像擴散通過參數等級降低

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

我们引入了一种语义面板作为中介来解码文本到图像的过程,用于支持生成器更好地遵循指示。通过将从输入文本解析的视觉概念经由大型语言模型的辅助排列而成的面板注入到去噪网络作为详细的控制信号来补充文本条件,我们的方法 Ranni 在提高预训练的 T2I 生成器的文本可控性方面取得了进展。我们开发了一个实用系统,并展示了其在连续生成和基于聊天的编辑中的潜力。

🎯

关键要点

  • 引入语义面板作为中介解码文本到图像的过程。
  • 面板通过大型语言模型辅助排列,从输入文本解析的视觉概念构成。
  • 面板注入到去噪网络,作为详细的控制信号补充文本条件。
  • 方法 Ranni 提高了预训练的 T2I 生成器的文本可控性。
  • 引入生成性中介,提供更方便的交互形式,允许用户进行精细的生成定制。
  • 开发了实用系统,展示其在连续生成和基于聊天的编辑中的潜力。
➡️

继续阅读