谷歌DeepMind宣布推出机器人基础模型Gemini Robotics On-Device

谷歌DeepMind宣布推出机器人基础模型Gemini Robotics On-Device

💡 原文英文,约600词,阅读约需2分钟。
📝

内容提要

谷歌DeepMind推出了Gemini Robotics On-Device,这是一个可在机器人硬件上本地运行的视觉-语言-动作基础模型,具备低延迟推理能力,适合本地应用。该模型是Gemini Robotics系列的最新版本,旨在解决延迟和连接性问题,并通过SDK支持开发者定制。

🎯

关键要点

  • 谷歌DeepMind推出Gemini Robotics On-Device,这是一个可在机器人硬件上本地运行的视觉-语言-动作基础模型。
  • 该模型具备低延迟推理能力,适合本地应用,并可通过少量示例进行微调。
  • Gemini Robotics On-Device是Gemini Robotics系列的最新版本,旨在解决延迟和连接性问题。
  • 该模型遵循自然语言指令,利用视觉识别和推理环境中的物体。
  • DeepMind在双臂Aloha机器人上训练了该模型,并在多个其他机器人平台上进行了评估。
  • Gemini Robotics SDK将加速创新,允许开发者根据特定需求定制模型。
  • DeepMind还发布了多个基准测试,包括评估机器人安全机制的ASIMOV基准和测量视觉推理能力的ERQA评估数据集。
  • 模型在七个不同任务上表现良好,成功完成任务的平均时间超过60%。
  • Gemini Robotics On-Device尚未普遍提供,感兴趣的开发者可以注册候补名单。

延伸问答

Gemini Robotics On-Device的主要功能是什么?

Gemini Robotics On-Device是一个可在机器人硬件上本地运行的视觉-语言-动作基础模型,具备低延迟推理能力。

如何微调Gemini Robotics On-Device模型?

该模型可以通过少量示例进行微调,通常只需50个示例即可适应特定任务。

Gemini Robotics On-Device的应用场景有哪些?

该模型适合需要低延迟或缺乏网络连接的本地应用,如复杂任务的机器人操作。

DeepMind如何评估Gemini Robotics On-Device的性能?

DeepMind在七个不同任务上测试了该模型,成功完成任务的平均时间超过60%。

Gemini Robotics SDK的作用是什么?

Gemini Robotics SDK允许开发者根据特定需求定制模型,促进创新。

开发者如何获取Gemini Robotics On-Device的访问权限?

感兴趣的开发者可以注册候补名单以获取模型和SDK的访问权限。

➡️

继续阅读