新论文：《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》

浙江大学、腾讯AI实验室和西湖大学合作的论文《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》介绍了使用多模态模型与开放网络中的网站交互的方法。WebVoyager使用Selenium和GPT-4V操作网页元素，并使用ReAct的Prompt框架让AI清晰地给出网页操作指令。WebVoyager的任务成功率达到55.7%，但仍存在导航失败、视觉识别不足和幻觉等问题。期待未来AI能更好地帮助我们操作网页。