新论文：《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
浙江大学、腾讯AI实验室和西湖大学合作的论文《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》介绍了使用多模态模型与开放网络中的网站交互的方法。WebVoyager使用Selenium和GPT-4V操作网页元素，并使用ReAct的Prompt框架让AI清晰地给出网页操作指令。WebVoyager的任务成功率达到55.7%，但仍存在导航失败、视觉识别不足和幻觉等问题。期待未来AI能更好地帮助我们操作网页。
🎯
关键要点
-
论文《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》介绍了如何使用多模态模型与开放网络中的网站交互。
-
WebVoyager使用Selenium和GPT-4V操作网页元素，并通过ReAct的Prompt框架提供清晰的网页操作指令。
-
WebVoyager的任务成功率为55.7%，但仍面临导航失败、视觉识别不足和幻觉等问题。
-
WebVoyager基于Selenium进行网页操作，并开发了GPT-4-ACT4工具来标记网页元素。
-
AI通过有限的操作指令（如点击、输入、滚动等）来执行任务，而不是直接编写代码。
-
ReAct框架帮助AI推理出下一步行动，通过思考、行动和观察的结构逐步完成任务。
-
WebVoyager在任务成功率上达到了55.7%，但仍需提高以替代人类操作。
-
任务失败的原因包括导航失败、视觉识别不足和幻觉等问题，影响了AI的操作效果。
-
期待未来AI能更好地帮助我们操作网页，提升用户体验。
🏷️
