WorkArena: Web 代理在解决常见知识工作任务方面有多大能力？
内容提要
本文介绍了多种评估智能代理性能的基准工具，如VisualWebArena和AndroidArena，指出大型语言模型（LLM）在复杂任务中的局限性，特别是在多代理环境中的对手建模和团队协作能力。WebVoyager展示了在真实网站上执行任务的成功率，强调了时间意识在语言代理开发中的重要性。
延伸解读
评估基准的多样性
文章介绍了多个评估智能代理的基准，如VisualWebArena、AndroidArena、WebVoyager、TimeArena、LLMArena和Chatbot Arena。这些基准覆盖了视觉基础任务、跨应用操作、真实网站交互、时间动态和多代理环境等不同方面，反映了评估代理能力的多维度需求。
LLM代理的常见弱点
文章指出，LLM代理在复杂任务中面临广泛且动态的操作空间、跨应用合作需求以及用户约束等挑战。AndroidArena的研究发现，即使最先进的LLM代理在跨应用情景和遵守约束方面也存在困难，而LLMArena则表明LLM在对手建模和团队协作方面仍有不足。
实际应用中的表现
WebVoyager在真实网站上的任务成功率为55.7%，显著优于GPT-4和仅文本设置，其自动评估与人类判断的一致性达到85.3%。这表明基于大型多模态模型的网络代理在实际应用中具有潜力，但仍有提升空间。
时间意识的重要性
TimeArena的引入更好地反映了复杂的时间动态和约束，揭示了大型语言模型在有效多任务处理方面仍落后于人类。这强调了在语言代理开发中提高时间意识的必要性，以应对现实世界中时间相关的任务挑战。
Q&A
VisualWebArena 是什么？
VisualWebArena 是一个用于评估自主多模态代理在视觉基础任务方面性能的基准工具。
大型语言模型在复杂任务中面临哪些挑战？
大型语言模型在复杂任务中面临广泛且动态的操作空间、跨应用程序的合作需求和用户约束条件的挑战。
WebVoyager 的任务成功率是多少？
WebVoyager 在与真实网站的交互中展示了 55.7% 的任务成功率。
TimeArena 的作用是什么？
TimeArena 更好地反映了复杂的时间动态和约束，强调了在语言代理开发中提高时间意识的需求。
LLMArena 是什么，它的目的是什么？
LLMArena 是一个用于评估 LLM 在多代理动态环境中的能力的框架，旨在指导未来研究以增强 LLM 的能力。
Chatbot Arena 如何评估大型语言模型？
Chatbot Arena 通过众包输入和对成对比较的方式收集数据，并使用统计方法进行评估和排名。
