显式表示语法提升预测意外情境下的句子布局
原文中文,约500字,阅读约需1分钟。发表于: 。通过自然语言句子中的识别视觉实体和将其按照二维空间布局排列,需要对语言和空间进行构造性理解。本研究通过对比显示,如果句子提到了在训练期间看到的类似实体关系,则可以从隐式或显式编码句子句法的语言表示中预测布局。为了测试构造性理解,我们收集了一组语法正确的测试句子和布局,它们描述了在训练期间很可能没有见过的实体和关系的组合。结果显示,在这个测试集上的表现大幅下降,表明当前模型依赖于训练数据中的相...
本研究通过对比显示,可以从句子的语言表示中预测布局。测试结果表明当前模型在理解输入句子的结构方面存在困难。提出了一种新的结构损失函数,取得了显著的性能提升。