MineDojo框架在Minecraft中支持多任务目标，结合多模态知识库和代理架构，利用预训练的视频语言模型提升学习效率。多个代理如DECKARD、Voyager、JARVIS-1和STEVE展示了解决复杂任务的能力，成功率显著提高。OmniJARVIS通过视觉-语言-动作模型优化指令跟随，展现出卓越的推理和决策能力。