通过符号世界知识从自我中心视角定位活动对象

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究提出了一种神经符号化方法,用于解决神经网络特征提取对小的改变过于敏感而未能适应测试集中未见过的属性和指令的问题。实验结果表明,该方法在 ALFRED 基准测试的子任务评估中,相比端到端的神经模型,在未知环境下的交互任务中显着优于前者。

🎯

关键要点

  • 该研究提出了一种神经符号化方法,解决神经网络特征提取对小改变的敏感性问题。

  • 该方法使用高级符号特征作为中间表征,映射自然语言指令和视觉信息到3D环境中的操作序列。

  • 在ALFRED基准测试的子任务评估中,该方法在未知环境下的交互任务中显著优于端到端的神经模型。

  • 实验结果显示,在切换对象、拿起对象和切片对象的成功率上,分别提高了9点、46点和74点。

➡️

继续阅读