英伟达在CoRL大会发布新一代机器人基础模型GR00T 2,可完成裁标签、装显卡、做早餐等精细与移动任务。其核心X-Adapt跨本体适配技术能将人类示范、手持夹爪、外骨骼数据迁移到不同机器人,减少重复采集。模型预训练融合约40万小时人类视频、1万小时UMI演示和2.35万小时机器人数据,少量示范加LoRA微调即可显著提升成功率。英伟达还开放模型、数据及采集、仿真、部署工具链。
DeepSeek拟领投机器人AI初创公司Winverse AI数千万美元种子轮融资,投后估值约4亿美元。该公司由前腾讯杰出科学家胡瀚创立,专注机器人基础模型。这是DeepSeek两个月内第二次投资机器人领域,继8月入股宇树科技后,布局“身体”与“大脑”。
Facet-0是一种面向高精度接触操作的机器人基础模型,结合视觉-语言骨干与流匹配动作专家,联合预测动作及未来腕部扭矩,将接触视为可预测结果。基于ManuFacet-1K数据集训练,并通过Action–Wrench Critic评估交互价值,实现策略细化,提升装配可靠性。
Skild AI发布机器人基础模型S1,支持上下文学习,机器人仅看人类演示视频即可完成长达10分钟的新任务,无需后训练。在未见任务上成功率66%,远超语言提示VLA的9%。S1旨在推动机器人从“微调时代”迈向“GPT时刻”,降低技能学习成本,其融资估值已超140亿美元。
Generalist AI发布机器人基础模型GEN-1.5,支持一次性学习,机器人看3-12秒演示即可学会新任务,无需梯度更新或微调。模型能举一反三,结合不同演示,甚至从模拟器学后直接应用于现实。此能力源于大规模物理数据预训练,类似GPT-3的上下文学习,但成功率仅59%,提升至83%需额外微调。
RoboTTT将机器人基础模型的视觉-运动上下文扩展至8K时间步,通过测试时训练更新快速权重,在不增加推理延迟下提升性能。相比单步基线,任务性能提高87%,能完成五分钟十阶段装配任务,并支持一次性模仿和即时策略改进,表明上下文长度是机器人模型的新扩展维度。
该文综述开放词汇移动操作与机器人基础模型研究:HomeRobot基准通过语义分割、放置策略和启发式改进显著提升成功率;RT-2将动作表示为文本标记,实现端到端视觉语言行动模型并展现新兴泛化与推理能力;MOO、PhysObjects、RoboFlamingo、ViLa、HuBo-VLM及动态知识更新等方法分别提升零样本操作、物理概念规划、视觉语言控制和人机交互感知性能。
本文综述机器人基础模型研究,探讨将自然语言处理与计算机视觉基础模型迁移至机器人领域,以构建通用机器人系统,并分析其形式、挑战与方向。相关研究包括:利用大规模数据训练提升泛化能力、共享机器人经验数据库、通过视频预测与模型预测控制实现非抓取操作、利用语言分割掩模支持抓取放置、混合神经符号与人在回路学习,以及基于大语言模型规划器实现技能复用和终身学习。
完成下面两步后,将自动完成登录并继续当前操作。