VisualWebArena: 在现实视觉网络任务中评估多模态代理
内容提要
该文综述了多个智能体研究项目，涵盖网页任务、多模态推理、可视化助手、UI自动化及游戏评估平台。重点包括WebQA基准、Auto-UI多模态界面交互、JARVIS-1在Minecraft中完成200余任务、SEEACT利用GPT-4V实现网页操作，以及Arena多智能体评估平台等，推动通用智能体发展。
延伸解读
多模态代理的评估基准
文章介绍了多个用于评估多模态代理的基准，如WebQA、AITW和MIND2WEB。这些基准覆盖了从视觉问答到网页操作等任务，旨在衡量代理在真实网络环境中的任务完成能力。其中，AITW包含3万条指令，涵盖应用操作、网络搜索和网购等多步任务；MIND2WEB则用于评估网页代理。这些基准为比较不同代理的性能提供了统一标准。
关键技术方法
文章提及了多种提升代理性能的技术，如Auto-UI的链式动作技术，利用中间动作历史和未来计划辅助决策；SEEACT利用GPT-4V的视觉和HTML信息进行动作转化；WebGUM通过离线训练增强视觉感知和HTML理解。这些方法旨在解决代理在复杂界面中的动作预测和转化难题，推动代理向更自主的方向发展。
当前性能与局限
根据文章，现有代理在特定任务上已取得一定成果：Auto-UI在AITW上达到90%的动作类型预测准确率和74%的整体动作成功率；SEEACT在手动转化下可完成50%的MIND2WEB任务；JARVIS-1在Minecraft中完成200多个任务，长期目标挖掘完成率12.5%。然而，SEEACT指出自动转化仍是主要挑战，现有策略不适用于网络代理，与理想转化存在差距，表明该领域仍有较大改进空间。
Q&A
VisualWebArena 是什么？它的主要目标是什么？
VisualWebArena 是一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理。它提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务，以评估任务完成的功能正确性。
WebQA 基准有什么特点？它旨在解决什么问题？
WebQA 引入了一个具有挑战性的新测量标准，涉及大规模最先进模型的困难之处，缺乏新颖对象的语言基础视觉表达和推理能力，但对人类来说却很简单。其社区挑战是创建统一的多模态推理模型，这些模型可以回答问题，而不考虑源模态，从而使我们更接近不仅查询语言知识，而且查询更丰富的视觉在线世界的数字助手。
Auto-UI 是什么？它在多模态界面交互方面有什么创新？
Auto-UI 是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。它提出了一种链式动作技术——利用一系列中间的先前动作历史和未来动作计划——以帮助代理决定执行什么动作。在 AITW 基准上，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。
JARVIS-1 在 Minecraft 中取得了哪些成就？
JARVIS-1 是一个在开放世界中能够感知多模态输入、生成复杂计划和执行控制的智能体，在 Minecraft 宇宙中完成了超过 200 个任务，包括了从入门到中级难度的任务，并且在长期目标挖掘任务中取得了无与伦比的 12.5% 完成率，比以往记录提高了 5 倍以上。通过多模态记忆，JARVIS-1 能够不断自我提升，实现了更通用的智能和改进的自主性。
SEEACT 如何利用大型多模态模型（LMMs）进行网页操作？
SEEACT 是一种利用 LMMs 的通用网络代理，可以根据自然语言指令在任何给定的网站上完成任务。通过在最新的 MIND2WEB 基准上进行评估，展示了 GPT-4V 在网络代理中的巨大潜力，如果将其文本计划手动转化为网站上的动作，它可以成功完成 50% 的任务，这大大优于仅针对网络代理进行优化的纯文本 LLMs。然而，转化仍然是一个主要的挑战，现有的 LMM 转化策略并不适用于网络代理，而最佳转化策略利用了 HTML 文本和视觉信息。
Arena 多智能体评估平台是什么？它包含哪些内容？
Arena 是一个多智能体通用评估平台，其中包含 35 个逻辑和表述多样的游戏，以及可视化的社会树和五种基本的多智能体奖励机制，为研究人员提供了一个易于发明和构建新的多智能体问题的建模工具包，还提供了五个最先进的深度多智能体强化学习基线的 Python 实现和一组我们可以使用不同的训练方案训练的每个游戏的 100 个最佳的代理/团队，作为评估群体表现的基础，以便研究人员可以在稳定和统一的标准下进行比较。
