量子位
·
Claude自动玩崩铁清日常，NUS新论文完整测评AI电脑操控
内容提要
新加坡国立大学的研究表明，Claude AI能够自动完成多种任务，包括玩《崩坏：星穹铁道》和《炉石传说》，以及处理购物和文档编辑等办公事务。Claude通过实时观察和推理，智能理解任务目标，展现出强大的自动化能力，未来潜力巨大。
关键要点
-
新加坡国立大学的研究表明，Claude AI能够自动完成多种任务。
-
Claude可以自动玩《崩坏：星穹铁道》，完成日常任务。
-
Claude能够智能理解游戏规则和目标，并根据任务进行调整。
-
Claude在办公场景中表现出色，能够完成网页搜索、购物、编辑文档等任务。
-
Claude可以在Outlook中转发邮件、调整Word布局、设置PowerPoint背景等。
-
Claude还可以自动玩《炉石传说》，包括创建和重命名牌组等功能。
-
研究团队设计了Claude Computer Use的自动化GUI框架，包含系统提示、状态观察、推理范式等部分。
-
Claude的性能测试涵盖了网页搜索、工作流程、办公软件和视频游戏等领域。
-
尽管Claude表现优秀，但在复杂页面操作时仍有失败案例。
-
团队公开了所有测试用例的具体信息，供感兴趣者查看。
延伸解读
Claude的多任务能力
Claude AI展现了在多种场景下的强大自动化能力，包括游戏和办公任务。这种能力不仅限于简单的操作，还能智能理解任务目标，适应不同的环境和需求，显示出其在未来应用中的广泛潜力。
复杂操作的局限性
尽管Claude在许多任务中表现出色，但在处理复杂页面操作时仍存在失败案例。这提醒用户在依赖AI进行复杂任务时，需保持警惕，可能需要人工干预以确保任务的顺利完成。
自动化框架的设计
研究团队为Claude设计了一个自动化GUI框架，包含状态观察和推理范式等部分。这种设计使得Claude能够在动态环境中更有效地执行任务，未来可能会推动更多智能应用的发展。
延伸问答
Claude AI可以完成哪些类型的任务？
Claude AI能够自动玩游戏、处理购物、文档编辑等办公事务。
Claude是如何理解游戏规则和目标的？
Claude通过实时观察和推理，智能理解游戏规则和目标，并根据任务进行调整。
Claude在办公场景中的表现如何？
Claude在办公场景中表现出色，能够完成网页搜索、购物、编辑文档等任务。
Claude如何自动玩《崩坏：星穹铁道》？
Claude可以通过语音指令自动完成游戏中的日常任务，如设置挑战次数和启动自动战斗。
Claude的自动化GUI框架包含哪些部分？
框架主要包括系统提示、状态观察、推理范式、工具使用、GUI动作空间和历史视觉上下文维护。
Claude在复杂页面操作中有哪些失败案例？
Claude在复杂页面操作中出现失败，如在Fox Sports订阅任务中未能正确导航到'Account'选项卡。
