学习生成语义布局以实现文本到图像综合中更高的文本 - 图像对应性
原文约300字/词,阅读约需1分钟。发表于: 。通过利用可用的语义布局,我们提出了一种增强文本 - 图像对应关系的新方法。具体而言,我们提出了一种高斯 - 分类扩散过程,同时生成图像和相应的布局对。我们的实验证明,通过训练模型为每个像素生成语义标签,我们可以引导文本 - 图像生成模型意识到不同图像区域的语义,从而达到比现有方法更高的文本 - 图像对应关系。
该研究提出了一种简单易解释的推理模型,用于生成全局场景的主要对象和语义概念的可视化表示。该模型使用图卷积网络进行关联和推理,并使用门和记忆机制进行全局语义推理。实验证明该方法在MS-COCO和Flickr30K数据集上取得了相对于最佳方法分别为6.8%和4.8%的图像检索和字幕检索的新的最佳效果,Flickr30K数据集上分别提高了12.6%和5.8%的图像检索和字幕检索。