寻找更好契合度的方法？一种适应个体驾驶员的渐进式学习多模态物体引用框架

本文介绍了一个新的数据集，用于改善机器人与人类之间的互动能力。通过使用多个现实图像中的可见物体来回应多方面的指令，解决了复杂任务的挑战。测试了多种最先进的视觉和语言导航模型，但没有取得令人满意的结果。提出了一种新颖的交互式导航-指针模型，为该任务提供了强有力的基线。该模型在未见测试集上表现最佳，但仍有改进空间。