内容提要
清华大学、无问芯穹与智元联合提出群体经验学习(CEL)新范式,让机器人互相借鉴成功经验而非仅靠人类示教。团队在96台真实机器人上验证,五项任务总体成功率达97.5%,超过人类操作员平均水平;参与训练的机器人从16台增至96台,成功率由86.7%升至98.3%。系统层面构建容错异步训练系统,算法层面提出失败引导的经验检索微调算法,为具身智能规模化落地提供新路径。
延伸解读
从“人教”到“互学”的范式转变
文章指出,传统具身智能依赖人类示范和纠错,但操作人员数量无法随机器人部署规模同步增长,成为落地卡点。CEL让机器人共享彼此的成功经验,使学习对象从人转向同伴。这一转变的意义在于,经验积累不再受限于人力供给,机器人群体本身成为可扩展的学习资源,为规模化部署提供了新思路。
规模效应在真实集群中的验证
实验显示,参与训练的机器人从16台增至96台时,成功率从86.7%升至98.3%。这说明在相同训练时间内,更大规模的集群能积累更多真实经验,并转化为学习收益。文章将这一趋势概括为“机器越多越强”,但需注意该结论基于特定任务和实验条件,其普适性仍需更多场景验证。
系统容错是规模化落地的隐形前提
文章强调,CEL落地依赖底层系统与上层算法协同。容错异步训练系统FATS支持机器人完成任务后即时上传经验,无需等待其他机器人,并针对网络波动、设备掉线等真实环境问题做了准备。在96台机器人测试中,22台发生30次故障,但故障造成的时间损失仅占全部运行机时的1.3%,说明系统稳健性是群体学习能否持续运转的关键保障。
失败经验如何被有效利用
真实机器人操作可能持续数分钟、涉及数千动作步骤,但反馈往往只有成功或失败,信息量有限。FERT算法从成功操作中学习正确做法,从失败操作中定位问题,并在机器人遇到困难时检索相似场景下的成功经验进行重点学习。这一设计试图解决稀疏反馈下的学习效率问题,使失败也成为改进策略的信息来源。
Q&A
什么是群体经验学习(CEL)?它和传统机器人学习方式有什么不同?
群体经验学习(CEL)是清华大学、无问芯穹与智元联合提出的新范式,让机器人不只依靠人类示范学习,还能借鉴群体中其他机器人的成功经验。传统方式主要靠人一遍遍示范或手动纠正,而CEL让机器人从同伴的经验中学习,实现群体共同提升。
CEL在真实机器人上的实验效果如何?
在96台真实机器人上验证,五项任务(插花、叠衣服、手机充电、凳子组装、手机包装)总体成功率达97.5%,超过6名人类操作员平均水平。其中手机包装任务成功率从79.2%提升到98.3%。参与训练的机器人从16台增至96台时,成功率从86.7%升至98.3%。
CEL如何解决具身智能规模化落地中“人不够用”的瓶颈?
传统方式依赖经验丰富的操作人员持续示教和纠错,但人员数量无法随机器人批量部署而增长。CEL让机器人彼此学习,机器人越多,积累的经验越丰富,能力提升越快,从而将“人不够用”的瓶颈转化为“机器人越多越强”的规模优势。
CEL的系统层面有哪些关键技术?
团队基于大规模强化学习训练开源框架RLinf构建了容错异步训练系统(FATS),支持近百台机器人持续稳定协同学习。该系统统一调度机器人与计算资源,机器人完成任务后立即上传经验,无需等待其他机器人;同时能应对网络波动、设备掉线、硬件故障,在96台机器人测试中故障时间损失仅占1.3%。
CEL的算法层面提出了什么方法?它如何帮助机器人改进?
团队提出失败引导的经验检索微调算法(FERT)。针对机器人操作步骤多但反馈仅“成功/失败”的难题,FERT从成功操作中学习“应该怎么做”,从失败操作中分析“哪里做得不对”,并在遇到困难时检索相似场景下的成功经验进行重点学习,逐步改进能力。
CEL的提出对具身智能产业有什么意义?
CEL提供了一条从“单台机器人能力提升”走向“整个群体持续进化”的路径,解决了依赖人工示教的瓶颈,将规模优势转化为能力优势。同时,清华大学、无问芯穹、智元三方产学研协作,打通了从论文方法到产线能力的链路,为其他企业和场景提供了可借鉴的完整路径,推动具身智能从技术验证走向产业落地。