独立推理单元用于知识基础的视觉问答

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本研究分析了基于知识的视觉问答,发现结合任务特定模型、预训练语言模型和外部知识检索模型可以取得良好效果。预训练语言模型在1跳推理方面较强,但在2跳推理方面不如精调的神经网络模型。预训练语言模型在与知识库相关的问题上优于神经网络模型,但不能代替对外部知识的需求。

🎯

关键要点

  • 本研究分析了基于知识的视觉问答。
  • 研究问题包括显式有监督检索相关知识的可行性、任务特定模型与预训练语言模型的表现、以及预训练语言模型的隐式知识是否足够。
  • 结合特定任务模型、预训练语言模型与外部知识检索模型可以取得良好效果。
  • 预训练语言模型在1跳推理方面表现较强,但在2跳推理方面不如精调的神经网络模型。
  • 预训练语言模型在与知识库相关的问题上优于神经网络模型,证明了其隐式知识的有效性。
  • 预训练语言模型不能替代对外部知识的需求。
➡️

继续阅读