RealReplicaBench是阿里Accio Work团队推出的电商AI Agent评测基准,通过107个真实商业任务测试模型完成度,所有模型均未及格。它复刻真实工作环境,要求任务结果可被下一环节直接接手,用环境状态验证而非模型自述。该基准反映Agent时代评价标准从知识、推理转向实际完成任务的能力,也展示了团队对AI完成工作的深度理解。
文章回顾了国产大语言模型ChatGLM的体验,特别是GLM4.6的进步。最初效果一般,但随着版本更新,GLM4.6在任务完成度和风格上有显著提升,体现了国产模型的进步。
本研究提出了一种新的动态对比技能学习框架(DCSL),旨在解决强化学习在复杂决策长时间任务中的挑战。DCSL通过引入基于状态转移的技能表示和动态技能长度调整,提高了任务完成度和效率。
CUA结合了GPT-4o的视觉和推理能力,能够在用户请求时启动虚拟主机,并实时同步操作。通过处理屏幕截图,CUA执行多步骤任务,适应变化并自我纠正,从而提高任务完成度。
完成下面两步后,将自动完成登录并继续当前操作。