本研究评估大型语言模型（LLM）代理的自我推理能力，填补了代理任务研究的空白。通过考察自我修改和知识寻求等情境，发现只有前沿模型具备此能力，且高度依赖上下文。未来模型的提升可通过评估测量实现。

本研究探讨了视觉和语言推理的相互作用，评估了 Vision-and-language 模型对于空间理解的忠实度，并设计了代理任务来训练模型，取得了显著的表现改善。

通过替换原始帧为语义分割地图，我们引入了从单帧进行未来视频预测的代理任务，克服了学习长动态模式的挑战，并在基准数据集上展示了其有效性和优越性。