InstructG2I:从多模态属性图合成图像
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了生成图像的关键任务——基于多模态属性图(MMAGs)的Graph2Image,因其面临图形尺寸扩展、图形实体之间的依赖关系以及可控性需求等挑战。提出的InstructG2I模型通过利用图结构和多模态信息,实现了有效的邻居采样和引导去噪,实验结果证明了其有效性和可控性,对相关领域的图像生成具有显著影响。
我们提出了一个框架,通过潜在图扩散(LGD)使用单一模型解决节点、边和图级别的生成、回归和分类任务。LGD将图结构和特征嵌入潜在空间,通过编码器解码进行生成,并通过交叉注意机制实现条件生成,将预测任务转化为生成任务。实验显示,该框架在生成和回归任务中表现出色。