内容提要
强化学习环境正成为大模型后训练的新兴供给,Mercor、Surge AI等公司围绕专家数据、任务环境与评测展开业务。光轮智能发布RoboFinals RL Envs,以真实工作任务为导向,展示超8分钟汽车修理长程仿真,涵盖灵巧手操作、工具使用与柔性物体交互。其自研SimFoundry底座覆盖求解、测量、生成,并通过Agentic校准工作流提升物理真实性,同时配套同源评测与可交付产品,推动物理AI训练环境标准化。
延伸解读
物理AI训练环境为何比数字环境更难
文章指出,数字环境中智能体的动作改变文件或程序状态,结果容易判定;但机器人动作牵动物体位置、姿态和接触状态,一次接触的力度和结果会影响后续操作。因此物理AI的RL Envs不能简单复刻数字环境,必须让关键物体对策略动作作出可信响应,并支持在不同初始状态下反复试错。这解释了为何真机试错难以规模化,而仿真成为必要路径。
长程任务与灵巧手带来的仿真挑战
RoboFinals RL Envs展示的汽车修理任务超过8分钟,涉及灵巧手、工具使用和柔性物体。文章分析,灵巧手有十几到二十多个自由度,接触点成倍增加,受力求解不准会导致滑脱或穿透;长程任务中误差随时间累积,且前后阶段状态相互关联,不能像常见做法那样拆段后从人工设定初始状态开始。柔性物体还需离散成大量节点计算,参数偏差会影响仿真表现。
从环境构建到评测交付的闭环意义
光轮智能通过SimFoundry底座覆盖求解、测量、生成,并用Agentic校准工作流结合人类专家判断来提升物理真实性。文章强调,RoboFinals RL Envs与RoboFinals Benchmark共享任务语义、场景资产和能力定义,但训练任务、奖励调参过程与评测实例严格分开,以保留独立检验。交付上则打包资产适配、物理校准和运行检查,使模型团队接入策略即可开训,推动环境成为可采购、复用的标准件。
Q&A
光轮智能发布的RoboFinals RL Envs是什么?
RoboFinals RL Envs是光轮智能推出的一套面向机器人模型的强化学习仿真环境,以真实工作任务为导向,旨在为物理AI提供可交互的训练环境。
为什么物理AI需要专门的强化学习仿真环境?
因为物理世界的动作会改变物体的位置、姿态和接触状态,反馈复杂且难以在真机上规模化试错;仿真能提供可重复的训练条件,但必须能承载具体任务并对策略动作持续给出可信反馈。
RoboFinals RL Envs展示的汽车修理任务有什么特别之处?
该任务时长超过8分钟,是长程仿真任务,将灵巧手操作、工具使用、多阶段流程和柔性物体交互(如软管、线缆、密封垫)组织在同一工作场景中,难点在于多种物理交互在任务链条中耦合关联。
光轮智能的SimFoundry仿真底座包含哪些环节?
SimFoundry覆盖“求解-测量-生成”三个环节:求解器负责计算刚体、关节体和柔性体的交互;测量环节让物体物理参数来自真实数据;生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。
Agentic校准工作流是如何提升仿真物理真实性的?
Agentic校准工作流由Agent提出方向、比较结果并组织下一轮修正,仿真专家在关键节点拍板。例如在汽车修理任务中,Agent连续自动化校准找到影响软管响应的杨氏模量参数,人类专家再结合真实表现判断,最终最大位置偏差缩小约3毫米,抖动减轻。
RoboFinals RL Envs如何与评测环节配合?
RoboFinals RL Envs与RoboFinals Benchmark共享任务语义、场景资产和能力定义,确保训练和评测使用同一套工作要求;同时训练任务、奖励调参过程与评测实例严格分开,保证学习效果有独立检验。
RoboFinals RL Envs能展示策略在训练中的迭代过程吗?
能。文章展示了同一任务在不同策略迭代阶段的变化:5步时机械手动作抖动未完成抓取;150步时尝试抓取但螺丝滑落;175步时成功抓起螺丝,说明环境能承载策略训练中的试错与行为变化。