量子位
·
Claude自动玩崩铁清日常，NUS新论文完整测评AI电脑操控
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
新加坡国立大学的研究表明，Claude AI能够自动完成多种任务，包括玩《崩坏：星穹铁道》和《炉石传说》，以及处理购物和文档编辑等办公事务。Claude通过实时观察和推理，智能理解任务目标，展现出强大的自动化能力，未来潜力巨大。
🎯
关键要点
- 新加坡国立大学的研究表明，Claude AI能够自动完成多种任务。
- Claude可以自动玩《崩坏：星穹铁道》，完成日常任务。
- Claude能够智能理解游戏规则和目标，并根据任务进行调整。
- Claude在办公场景中表现出色，能够完成网页搜索、购物、编辑文档等任务。
- Claude可以在Outlook中转发邮件、调整Word布局、设置PowerPoint背景等。
- Claude还可以自动玩《炉石传说》，包括创建和重命名牌组等功能。
- 研究团队设计了Claude Computer Use的自动化GUI框架，包含系统提示、状态观察、推理范式等部分。
- Claude的性能测试涵盖了网页搜索、工作流程、办公软件和视频游戏等领域。
- 尽管Claude表现优秀，但在复杂页面操作时仍有失败案例。
- 团队公开了所有测试用例的具体信息，供感兴趣者查看。
❓
延伸问答
Claude AI可以完成哪些类型的任务？
Claude AI能够自动玩游戏、处理购物、文档编辑等办公事务。
Claude是如何理解游戏规则和目标的？
Claude通过实时观察和推理，智能理解游戏规则和目标，并根据任务进行调整。
Claude在办公场景中的表现如何？
Claude在办公场景中表现出色，能够完成网页搜索、购物、编辑文档等任务。
Claude如何自动玩《崩坏：星穹铁道》？
Claude可以通过语音指令自动完成游戏中的日常任务，如设置挑战次数和启动自动战斗。
Claude的自动化GUI框架包含哪些部分？
框架主要包括系统提示、状态观察、推理范式、工具使用、GUI动作空间和历史视觉上下文维护。
Claude在复杂页面操作中有哪些失败案例？
Claude在复杂页面操作中出现失败，如在Fox Sports订阅任务中未能正确导航到'Account'选项卡。
➡️
