InstructG2I:一种基于图形上下文感知的稳定扩散模型,用于从多模态属性图中合成图像
原文中文,约1700字,阅读约需4分钟。发表于: 。多模态属性图 (MMAG) 尽管在图像生成方面用途广泛,但并未受到太多关注。MMAG 以图形结构的方式表示具有组合复杂性的实体之间的关系。图中的节点包含图像和文本信息。与文本或图像...
伊利诺伊大学的研究人员开发了InstructG2I,通过图上下文感知扩散模型解决多模态属性图在图像生成中的挑战。该方法使用Graph-QFormer架构和个性化PageRank进行图采样,生成符合文本提示的图像。在多个数据集测试中,InstructG2I在CLIP和DINOv2得分上优于基线模型。