内容提要
鹏城实验室与南方科技大学、中山大学联合发布并开源了ARIO具身智能领域学术成果,该成果是一个具备多种模态感知数据的大规模数据集,旨在解决具身智能领域的数据获取难题。该数据集包含2D、3D、文本、触觉和声音等感知数据,涵盖了操作和导航两大类任务,并包含多种机器人硬件。鹏城实验室还设计了一套针对具身大数据的格式标准,以满足具身智能大模型对感知和控制时序的精确要求。ARIO数据集共有258个场景序列,321,064个任务,303万个样例。
延伸解读
统一格式标准:具身数据规模化的关键
具身数据因机器人形态、控制方式各异,格式不统一会导致聚合后需大量预处理。ARIO 设计了一套格式标准,能记录多种形态机器人的控制参数,兼容不同帧率传感器并记录时间戳,满足大模型对感知和控制时序的精确要求。这一标准是数据集实现高质量、多样化和大规模的基础,也为后续数据统计分析提供了便利。
数据来源与构成:真实、仿真与转换三管齐下
ARIO 的数据来自三方面:真实环境采集、仿真引擎生成和现有数据集转换。真实数据基于 Cobot Magic 主从双臂机器人,设计了 30 多种任务,涵盖三个难度等级,并通过增加干扰、随机化位置等方式提升多样性,最终获得 3000 多条轨迹。仿真数据则利用 MuJoCo、Habitat 等引擎生成。这种混合来源既保证了规模,也兼顾了真实场景的价值。
从数据统计看机器人行业态势
得益于统一格式,ARIO 支持从 series、task、episode 三个层面统计场景和技能分布,发现当前大部分具身数据集中在室内生活家居环境。此外,还能从机器人形态、控制方式、传感器种类等维度分析行业趋势。例如,大部分数据来源于单臂机器人,人形机器人的开源数据很少,且主要来自鹏城实验室的真实采集和仿真生成。这些统计为理解行业现状提供了数据支撑。
Q&A
ARIO数据集的主要目的是什么?
ARIO数据集旨在解决具身智能领域的数据获取难题,提供多种模态的感知数据。
ARIO数据集包含哪些类型的感知数据?
ARIO数据集包含2D、3D、文本、触觉和声音等多种模态的感知数据。
鹏城实验室在数据集设计中采用了什么标准?
鹏城实验室设计了一套针对具身大数据的格式标准,以满足感知和控制时序的精确要求。
ARIO数据集的规模有多大?
ARIO数据集共有258个场景序列,321064个任务,303万个样例。
如何获取ARIO数据集?
可以通过论文原文和项目主页下载ARIO数据集。
当前具身智能领域面临哪些数据采集挑战?
具身智能领域面临高时间和成本的挑战,难以达到大规模的数据采集。