浙江大学、腾讯AI实验室和西湖大学合作的论文《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》介绍了使用多模态模型与开放网络中的网站交互的方法。WebVoyager使用Selenium和GPT-4V操作网页元素，并使用ReAct的Prompt框架让AI清晰地给出网页操作指令。WebVoyager的任务成功率达到55.7%，但仍存在导航失败、视觉识别不足和幻觉等问题。期待未来AI能更好地帮助我们操作网页。

WebVoyager通过与不同网站的交互完成任务，但在Google Flights和Allrecipes网站上存在错误。WebVoyager在处理复杂任务和多模态能力方面表现出色，但在处理文本密集型网站时仍有改进空间。