学习生成语义布局以实现文本到图像综合中更高的文本 - 图像对应性

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究提出了一种简单易解释的推理模型,用于生成全局场景的主要对象和语义概念的可视化表示。该模型使用图卷积网络进行关联和推理,并使用门和记忆机制进行全局语义推理。实验证明该方法在MS-COCO和Flickr30K数据集上取得了相对于最佳方法分别为6.8%和4.8%的图像检索和字幕检索的新的最佳效果,Flickr30K数据集上分别提高了12.6%和5.8%的图像检索和字幕检索。

🎯

关键要点

  • 提出了一种简单易解释的推理模型,用于生成全局场景的主要对象和语义概念的可视化表示。
  • 该模型使用图卷积网络进行关联和推理,并使用门和记忆机制进行全局语义推理。
  • 实验证明该方法在MS-COCO和Flickr30K数据集上取得了新的最佳效果,分别提高了6.8%和4.8%的图像检索和字幕检索。
  • 在Flickr30K数据集上,图像检索和字幕检索分别提高了12.6%和5.8%。
➡️

继续阅读