本文探讨了基于语言和视觉模型的通用机器人代理（VIMA），提出了多种方法以提升机器人在未知任务中的操作能力。研究表明，大型语言模型（LLMs）在低级控制方面具有潜力，并提出了新的学习方法（如PALO和ECoT），显著提高了机器人控制策略的性能和适应性。此外，GemBench基准测试为评估机器人操作策略的推广能力提供了新标准。