量子位
·
上海AI实验室造出首个「通才」机器人大脑：看懂世界+空间推理+精准操控全拿下
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
上海AI实验室推出VeBrain通用智能大脑，集成视觉感知、空间推理和机器人控制，实现机器人像人类一样的“看到-思考-行动”。该模型通过关键点检测和技能识别，提升多模态理解与控制能力，测试结果显示其在多个任务中表现优异。
🎯
关键要点
- 上海AI实验室推出VeBrain通用智能大脑，集成视觉感知、空间推理和机器人控制。
- VeBrain使机器人能够像人类一样实现“看到-思考-行动”。
- 该模型通过关键点检测和技能识别提升多模态理解与控制能力。
- VeBrain统一了三类任务的语言建模范式，打通感知、推理、控制的建模路径。
- 提出“机器人适配器”实现闭环控制，提升机器人在动态环境中的稳定性与鲁棒性。
- 构建高质量多能力数据集VeBrain-600k，涵盖60万条指令数据。
- VeBrain在多模态理解、空间推理和机器人控制能力上表现优异，测试结果显示其性能领先。
- VeBrain在视觉空间推理和机器人控制方面的成功率显著高于现有模型。
- 与现有的MLLM和VLA模型相比，VeBrain在所有任务中实现了最佳权衡性能。
- VeBrain在3D场景问答和物体定位任务上刷新纪录，表现优于其他模型。
❓
延伸问答
VeBrain机器人大脑的主要功能是什么？
VeBrain机器人大脑集成了视觉感知、空间推理和机器人控制，使机器人能够像人类一样实现“看到-思考-行动”。
VeBrain与现有模型相比有哪些优势？
VeBrain在多模态理解、空间推理和机器人控制能力上表现优异，测试结果显示其性能领先于现有的MLLM和VLA模型。
VeBrain是如何提升机器人控制能力的？
VeBrain通过关键点检测和技能识别，将机器人控制转化为MLLM中的常规任务，打通感知、推理和控制的建模路径。
VeBrain-600k数据集的特点是什么？
VeBrain-600k数据集包含60万条指令数据，涵盖多模态理解、空间推理和机器人控制任务，支持模型的统一训练。
VeBrain在视觉空间推理方面的表现如何？
VeBrain在视觉空间推理任务上刷新了纪录，其成功率显著高于现有模型。
VeBrain的机器人适配器模块有什么作用？
机器人适配器模块实现了MLLM与机器人之间的闭环控制，提升了机器人在动态环境中的稳定性与鲁棒性。
➡️
