该研究介绍了一种新方法来评估代理程序生成可执行计算机任务的能力，并展示了当前最强的基线语言模型代理在该测试中表现最好。然而，与人类相比，它仅达到15％，突显了传统网络代理在生成可执行脚本方面的挑战。该测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究努力构建大型语言模型和计算机屏幕的视觉基础的多模态模型。

该研究使用OmniACT数据集和基准测试评估了代理程序生成可执行计算机任务的能力。结果显示，最强的基线语言模型代理（GPT-4）在测试中表现最好，但与人类能力相比仅达到15％。该基准测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究努力构建大型语言模型和计算机屏幕的视觉基础的多模态模型。

该研究使用OmniACT数据集和基准测试评估了代理程序生成可执行计算机任务的能力。结果显示，最强的基线语言模型代理（GPT-4）在测试中表现最好，但与人类能力相比仅达到15％。该基准测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究努力构建大型语言模型和计算机屏幕的视觉基础的多模态模型。

该研究介绍了一种新方法来评估代理程序生成可执行计算机任务的能力，并展示了当前最强的基线语言模型代理在该基准测试中表现最好。然而，与人类能力相比，它仅达到15％，突显了传统网络代理在生成可完成任务的可执行脚本方面的挑战。该基准测试为衡量和评估语言模型代理在自动化计算机任务方面的进展提供了平台，并激励未来研究努力构建大型语言模型和计算机屏幕的视觉基础的多模态模型。