AssistantBench：网络代理能否解决现实且耗时的任务？
内容提要
本文探讨了大型语言模型（LLMs）在复杂环境中的推理和决策能力，尤其是在网页导航和任务规划中的应用。研究表明，商业LLMs与开源模型之间存在显著性能差距。基准测试显示，LLMs的任务完成率提高了31%，在HTML任务中的成功率提升超过50%。此外，提出了新的评估指标和基准系统，以促进语言导向任务规划器的发展，并揭示了未来研究的重要方向。
延伸解读
商业与开源模型性能差距显著
文章指出，在WebArena等基准测试中，商业LLM与开源模型在任务完成率上存在明显差距。例如，通过自我改进方法，商业模型任务完成率提高了31%，而开源模型可能难以达到同等水平。这种差距提示研究者和开发者在选择模型时需权衡性能与成本，同时也为开源社区指明了优化方向。
HTML任务成功率提升超50%
在基于HTML的网页导航任务中，LLM代理通过规划和总结HTML文档，以Python程序形式执行自然语言指令，成功率提升超过50%。其中HTML-T5模型表现最佳。这表明针对HTML结构的专门优化能显著提升代理性能，为未来网页自动化工具的开发提供了重要参考。
工作自动化仍存较大差距
尽管LLM代理在WebArena等基准上取得进展，但在WorkArena基准的29个企业任务中，代理程序虽展现出潜力，却远未实现完全自动化。分析还揭示了开源与闭源模型间的显著性能差异。这说明当前技术尚不足以应对复杂的企业工作流，未来需在任务规划和鲁棒性上继续突破。
评估基准与指标推动发展
文章介绍了多个新基准和评估指标，如WebArena、WorkArena、BrowserGym和MLAgentBench，用于量化代理在长期任务、网页导航和机器学习工程中的表现。这些工具不仅提供了可重现的测试环境，还通过推理时间搜索等方法提升了代理的多步规划能力，预计将加速语言导向任务规划器的研究。
Q&A
商业大型语言模型与开源模型的性能差距有多大？
商业大型语言模型与开源模型之间存在显著的性能差距，具体体现在任务完成率和成功率上。
LLMs在WebArena基准测试中的任务完成率提高了多少？
在WebArena基准测试中，LLMs的任务完成率提高了31%。
LLMs在HTML任务中的成功率提升了多少？
在HTML任务中，LLMs的成功率提升超过50%。
文章中提到的新评估指标有什么作用？
新评估指标旨在促进语言导向任务规划器的发展，并评估代理模型的性能、鲁棒性和功能。
未来研究的方向是什么？
未来研究的重要方向包括任务自动化和性能评估，特别是在复杂环境中的应用。
如何评估大型语言模型的任务规划性能？
通过建立基准系统和环境，进行广泛实验以量化大型语言模型的任务规划性能。
