RoboDojo是一个新的机器人操作评测基准,包含42个仿真任务和18个真实任务,旨在评估机器人在真实世界中的能力。目前最强模型在仿真中的成功率为8.80%,在真实世界中为12.8%,远低于人类专家的表现。RoboDojo揭示了机器人模型在稳定性和泛化能力上的短板,强调通用机器人面临的挑战。
Spider2-V是首个专注于数据科学和工程工作流程的多模态代理基准,包含494个真实任务,评估多模态代理在数据相关任务中的能力。文章还介绍了WebVoyager等多模态模型,展示了它们在实际应用中的成功率和评估方法,强调了多模态代理在自动化数据科学中的潜力与挑战。
完成下面两步后,将自动完成登录并继续当前操作。