本文提出了一种将 Transformer 模型与强化学习结合的新方法，应用于 BabyAI 任务，表现优异。研究展示了大型语言模型的视频表示在多个基准测试中的竞争力，提升了行动推理能力，并在机器人智能领域引入了新的任务范式，展示了机器人在自然互动和自主决策中的潜力。