WebVoyager: 使用大型多模态模型构建端到端网络代理
内容提要
本文综述多模态大模型在网络代理中的进展。SEEACT利用GPT-4V完成网页任务，成功率达50%；VisualWebArena用于评估视觉代理；Voyager在Minecraft中实现终身学习；MM-Navigator实现手机GUI零射击导航；WebGUM提升网页理解31.9%；WebAgent成功率提升50%。此外，介绍MLLM-Bench基准，评估感知、理解、创作等能力，并揭示开源模型与GPT-4V的差距。
延伸解读
SEEACT 的潜力与转化瓶颈
SEEACT 利用 GPT-4V 在 MIND2WEB 基准上实现了 50% 的任务成功率，显著优于纯文本 LLM。但这一结果依赖于人工将文本计划转化为网站动作，自动转化仍是主要挑战。现有集合标记提示等策略不适用于网络代理，最佳策略需结合 HTML 文本和视觉信息，但与理想转化仍有较大差距，说明端到端自动化尚未成熟。
评估基准的多样化与互补性
文章介绍了多个评估基准：VisualWebArena 针对视觉基础任务评估自主多模态代理，MLLM-Bench 覆盖感知、理解、创作等能力，并揭示开源模型与 GPT-4V 的显著差距。这些基准从不同维度衡量代理性能，但均存在局限性，如 MLLM-Bench 试图解决主观任务评估难题，而 VisualWebArena 则暴露了文本模型的限制。
跨领域代理的进展与差异
Voyager 在 Minecraft 中实现终身学习，MM-Navigator 在手机 GUI 上零射击导航，WebGUM 提升网页理解 31.9%，WebAgent 成功率提升 50%。这些案例显示多模态代理在游戏、移动端和网页等不同场景均有突破，但各自依赖特定技术，如自动课程、屏幕解析或 HTML 理解，尚未形成统一框架。
Q&A
SEEACT是什么？它在网络代理任务中的表现如何？
SEEACT是一种利用大型多模态模型（LMMs）的通用网络代理，可以根据自然语言指令在任何网站上完成任务。在MIND2WEB基准上，如果将其文本计划手动转化为网站上的动作，它可以成功完成50%的任务，大大优于纯文本LLMs如GPT-4或更小的模型。
VisualWebArena是什么？它的主要用途是什么？
VisualWebArena是一个用于评估自主多模态代理在具有视觉基础任务方面性能的基准。它通过对多模态网络代理的性能进行评估，揭示了文本模型的限制以及现有多模态语言代理能力上的差距。
Voyager在Minecraft中实现了什么能力？
Voyager是一个基于LLM的具身化终身学习代理，由自动课程、可执行代码的技能库和新的迭代提示机制组成。它可以在Minecraft中探索世界、获得多种技能和进行创新发现，表现出强大的上下文终身学习能力，比其他技术更快地解锁关键技术树里程碑。
MM-Navigator在智能手机GUI导航中有什么特点？
MM-Navigator是一个基于GPT-4V的代理，通过先进的屏幕解析、动作推理和精确的动作定位能力，在智能手机图形用户界面（GUI）导航任务中实现了零射击导航，并在iOS和Android上展示了优异的性能。
WebGUM模型相比现有最佳方法提升了多少？
WebGUM模型基于视觉-语言模型的指令驱动表征，通过离线培训方式训练，在视觉感知、HTML理解和多步推理能力上表现出色，相比现有最佳方法提高了31.9%以上。
MLLM-Bench是什么？它评估哪些能力？
MLLM-Bench是一个受Vicuna启发的创新基准，涵盖了各种场景，包括感知、理解、应用、分析、评估和创作，以及伦理考虑。它旨在更准确地反映用户体验，并提供对模型性能更全面的评估，对比评估结果表明现有开源模型和GPT-4V之间存在显著的性能差距。
