WebVoyager: 使用大型多模态模型构建端到端网络代理

WebVoyager是一种创新的大型多模态模型驱动的网络代理，通过与真实网站的交互完成用户指令的端到端。利用GPT-4V的多模态理解能力，WebVoyager在15个广泛使用的网站上的真实任务中获得了55.7%的任务成功率，超过了GPT-4和WebVoyager（仅文本）的表现。自动评估与人类判断达到了85.3%的一致性。