Optimus-1:混合多模态记忆增强的智能体在长期任务中表现出色
原文中文,约500字,阅读约需2分钟。发表于: 。构建一个通用代理是人工智能领域的一个长期愿景。然而,现有的代理在许多领域取得了显著的进展,却仍然在开放世界中无法完成长期规划任务。本文提出了一个混合多模态记忆模块以解决上述挑战。在这个模块的基础上,我们构建了一个多模态代理 Optimus-1,它在 Minecraft 中面对长期规划任务时具有更好的规划和反思能力。大量实验结果表明,在具有挑战性的长期规划任务基准上,Optimus-1...
Optimus-1是一个在Minecraft中具有更好规划和反思能力的多模态代理。实验结果显示,Optimus-1在挑战性任务上优于其他代理,接近人类水平。多模态大型语言模型支撑Optimus-1,实验结果显示其在许多任务上优于GPT-4V基线,具有强大泛化能力。