OSWorld: 多模态代理在真实计算机环境中的开放式任务评测
内容提要
本文介绍了OSWorld基准，评估多模态代理在369个计算机任务中的表现，强调其在开放领域的应用潜力。研究表明，尽管GPT-4等代理表现优异，但仅达到人类能力的15%。多个基准测试如VisualWebArena和WebVoyager揭示了多模态代理在实际应用中的挑战与进展，为未来研究提供了重要参考。
延伸解读
OSWorld 的定位与独特价值
OSWorld 是一个包含 369 个计算机任务的基准，旨在评估多模态代理在开放领域中执行任意应用程序的能力。与以往专注于特定领域（如网页或游戏）的基准不同，OSWorld 强调真实计算机环境中的开放式任务，这更贴近实际应用场景，为开发通用代理提供了更全面的测试平台。
当前代理能力与人类水平的差距
尽管 GPT-4 等先进代理在 OSWorld 上表现优异，但仅达到人类能力的 15%。这一数据凸显了多模态代理在复杂计算机任务上的局限性，表明现有模型在理解、规划和执行开放任务方面仍有巨大提升空间，也指明了未来研究的关键方向。
相关基准的互补与启示
VisualWebArena 和 WebVoyager 等基准从不同角度评估多模态代理，揭示了实际应用中的挑战与进展。例如，WebVoyager 在真实网站任务中达到 55.7% 的成功率，而 VisualWebArena 则暴露了文本模型的限制。这些基准共同为多模态通用代理的发展提供了重要参考。
Q&A
OSWorld基准的主要目的是什么？
OSWorld基准旨在评估多模态代理在369个计算机任务中的表现，特别是在开放领域的应用能力。
多模态代理在实际应用中面临哪些挑战？
多模态代理在实际应用中面临的挑战包括任务完成的能力和与人类能力的差距，研究显示其仅达到人类能力的15%。
VisualWebArena和WebVoyager的作用是什么？
VisualWebArena和WebVoyager是用于评估多模态代理在视觉任务和网络任务中的表现的基准测试，揭示了代理的能力和局限性。
GPT-4在OSWorld基准中的表现如何？
GPT-4在OSWorld基准中表现优异，但仍仅达到人类能力的15%。
未来的研究方向是什么？
未来的研究方向包括推动多模态通用代理的发展，并解决当前多模态代理在实际应用中的挑战。
OSWorld基准如何促进多模态代理的发展？
OSWorld基准通过提供全面的评估和洞见，帮助研究人员理解多模态代理的能力和局限，从而推动其发展。
