数据集汇总丨16个具身智能数据集，覆盖抓握/问答/逻辑推理/轨迹推理等领域
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
文章讨论了具身智能的研究进展，强调高质量数据集在模型训练中的重要性，并推荐了TongSIM-Asset、OmniRetarget和InternScenes等数据集，以推动具身智能的发展与应用。
🎯
关键要点
- 具身智能研究的核心问题是如何让AI进入物理世界并进行交互。
- 高质量数据集被视为具身智能时代的核心资源，类似于石油。
- 推荐的数据集包括TongSIM-Asset、OmniRetarget和InternScenes等，旨在推动具身智能的发展。
- TongSIM-Asset是一个开源模拟环境，包含超过25,877个操作任务场景和100个高质量三维模拟场景。
- OmniRetarget数据集用于类人机器人运动重映射，包含多种运动轨迹。
- InternScenes是一个大规模可模拟室内场景数据集，包含约40k个场景和196万个三维对象。
- FoMER Bench是一个多模态评测数据集，评估LLM在各种任务上的能力。
- DexGraspVLA数据集关注灵巧抓取在杂乱场景下的成功率。
- EQA数据集用于基于环境的视觉问答，要求agent在环境中寻找信息。
- EgoThink是一个第一人称视角的视觉问答基准数据集，评估VLMs的性能。
- Open X-Embodiment是一个大规模开源真实机器人数据集，涵盖多种机器人类型和技能。
- SocialMaze数据集聚焦于多智能体交互中的逻辑推理能力。
- BC-Z数据集包含超过25,877个操作任务场景，支持多任务策略训练。
- Nav CoT-110k数据集用于具身导航任务，包含结构化推理过程。
- ShareGPT-4o-Image是一个高质量的图像生成数据集，包含来自GPT-4o的图像生成样本。
- RT-1 Robot Action数据集用于训练RT-1模型，涵盖多种机器人任务。
- Motions Dataset包含仿生臂的动态运动数据，评估系统性能。
- BridgeData V2是一个大规模机器人学习数据集，促进可扩展机器人学习研究。
- Language-Table数据集包含近600,000条带有语言标签的轨迹，推动自然语言交互的机器人发展。
❓
延伸问答
具身智能的核心问题是什么？
具身智能的核心问题是如何让AI进入物理世界并进行交互。
为什么高质量数据集对具身智能研究至关重要？
高质量数据集被视为具身智能时代的核心资源，能够解决数据采集成本高、稀缺的问题，并提升模型的泛化能力。
TongSIM-Asset数据集的主要特点是什么？
TongSIM-Asset是一个开源模拟环境，包含超过25,877个操作任务场景和100个高质量三维模拟场景，支持多种智能体类型和交互。
OmniRetarget数据集主要用于什么？
OmniRetarget数据集用于类人机器人运动重映射，包含多种运动轨迹。
EQA数据集的功能是什么？
EQA数据集用于基于环境的视觉问答，要求agent在环境中寻找信息并回答问题。
SocialMaze数据集关注哪些能力？
SocialMaze数据集聚焦于多智能体交互中的逻辑推理能力，评估大型语言模型在社交环境中的表现。
➡️
