本文提出了一种整合环境对象和对象关系作为额外输入的方法，从而产生与场景中的对象相映射的行动计划，并设计了一种新的评分函数。该方法在VirtualHome模拟器和ActivityPrograms知识库中取得了可靠的结果，其行动计划的正确性和可执行性分别优于之前的研究约5.3％和8.9％。

GPT-4V具有物体检测、文本识别、人脸识别、验证码求解和地理定位等能力，但在解读复杂图像和视觉推理方面存在局限性。模型可能错误地描述对象关系，尤其是在空间关系、重叠物体、背景/前景、遮挡、小细节和上下文推理等方面。

本文提出了一种整合环境对象和对象关系作为额外输入的方法，从而产生与场景中的对象相映射的行动计划，并设计了一种新的评分函数。该方法在VirtualHome模拟器和ActivityPrograms知识库中取得了可靠的结果，行动计划的正确性和可执行性分别优于之前的研究约5.3％和8.9％。