新论文：《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》
原文中文，约2800字，阅读约需7分钟。发表于：。这篇论文详细的讲解了如何借助 GPT-4V 这样的多模态模型，与开放网络中的网站交互，完成用户的各项指令。
浙江大学、腾讯AI实验室和西湖大学合作的论文《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》介绍了使用多模态模型与开放网络中的网站交互的方法。WebVoyager使用Selenium和GPT-4V操作网页元素，并使用ReAct的Prompt框架让AI清晰地给出网页操作指令。WebVoyager的任务成功率达到55.7%，但仍存在导航失败、视觉识别不足和幻觉等问题。期待未来AI能更好地帮助我们操作网页。
