量子位
·
具身智能“高考”难疯了！人类100分，最强模型12.8
内容提要
RoboDojo是一个新的机器人操作评测基准，包含42个仿真任务和18个真实任务，旨在评估机器人在真实世界中的能力。目前最强模型在仿真中的成功率为8.80%，在真实世界中为12.8%，远低于人类专家的表现。RoboDojo揭示了机器人模型在稳定性和泛化能力上的短板，强调通用机器人面临的挑战。
关键要点
-
RoboDojo是一个新的机器人操作评测基准，包含42个仿真任务和18个真实任务，旨在评估机器人在真实世界中的能力。
-
当前最强模型在仿真中的成功率为8.80%，在真实世界中为12.8%，远低于人类专家的表现。
-
RoboDojo揭示了机器人模型在稳定性和泛化能力上的短板，强调通用机器人面临的挑战。
-
RoboDojo设计的任务围绕五个核心能力展开，包括泛化、记忆、精细操作、长程执行和开放语义理解。
-
真实世界的评测标准化，确保了测试的可复现性和可比较性，评测过程由三名评审双盲打分。
-
RoboDojo的公开排行榜由全学术机构联盟维护，确保了评测的公正性和透明性。
-
当前机器人模型在不同能力维度上存在明显短板，尤其是在开放语义任务上的成功率仅为1.67%。
-
RoboDojo不仅是一个静态基准，而是一个可持续更新的具身智能竞技场，支持模型的持续评测和进步。
延伸解读
RoboDojo的评测标准化
RoboDojo通过标准化的评测流程，确保了机器人在真实世界中的表现可复现和可比较。这种标准化不仅包括硬件配置和场景布局，还涉及评测协议和评分机制，使得不同模型的表现能够在同一平台上公平竞争。
机器人模型的短板
尽管当前的机器人模型在某些任务上表现出色，但整体成功率仍然较低，尤其是在开放语义任务上，成功率仅为1.67%。这表明，机器人在理解复杂指令和处理新任务时仍存在显著不足，距离真正的通用操作机器人还有很长的路要走。
仿真与真实世界的差距
RoboDojo的结果显示，仿真环境中的成功率与真实世界中的表现差距明显。即使是表现较好的模型，在真实环境中也面临着物理不确定性和操作稳定性的问题，这强调了在真实世界中测试的重要性。
持续更新的评测平台
RoboDojo不仅是一个静态的基准测试平台，它支持模型的持续评测和进步。随着新任务和新模型的加入，RoboDojo将不断推动机器人技术的发展，成为具身智能领域的重要竞技场。
延伸问答
RoboDojo的主要目标是什么？
RoboDojo旨在评估机器人在真实世界中的操作能力，包含42个仿真任务和18个真实任务。
当前最强的机器人模型在真实世界中的成功率是多少？
当前最强模型在真实世界中的成功率为12.8%。
RoboDojo的评测标准化是如何进行的？
RoboDojo的评测标准化包括统一硬件配置、工作空间布局和评测协议，由三名评审双盲打分。
RoboDojo揭示了机器人模型的哪些短板？
RoboDojo揭示了机器人模型在稳定性和泛化能力上的短板，尤其是在开放语义任务上的成功率仅为1.67%。
RoboDojo的排行榜是由谁维护的？
RoboDojo的公开排行榜由全学术机构联盟维护，确保评测的公正性和透明性。
RoboDojo如何支持模型的持续评测和进步？
RoboDojo是一个可持续更新的具身智能竞技场，支持模型不断上榜和任务持续扩展。
