德国数字协会Bitkom的调研显示,89%的企业认为工业4.0对竞争力重要,78%认为人工智能关键,63%认为类人机器人重要。97%的公司已在使用工业4.0应用,20%预计未来十年类人机器人将在大多数工业企业中普遍使用。
本文介绍了Ψ0模型,该模型结合大规模人类视频数据与真实机器人数据,训练出一种用于类人机器人灵巧运动的视觉-语言动作模型,能够有效提取运动先验,实现复杂的全身控制。
本文介绍了HumanoidPF(类人潜力场),一种用于人形机器人在杂乱室内场景中无碰撞穿越的技术。该方法通过编码人形体与障碍物的关系,提升机器人在复杂环境中的避障能力。研究者提出了一种混合场景生成策略,结合真实和程序化障碍物,增强训练效果。HumanoidPF被应用于Click-and-Traverse系统,实现高效遥操作导航,实验结果显示其在拥挤场景中表现优异,具有良好的泛化能力。
本文讨论了VIRAL项目,该项目通过教师-学生框架结合强化学习和视觉蒸馏,实现了类人机器人在真实环境中的自主行走与操作。技术利用仿真训练和领域随机化,提高了机器人的鲁棒性和泛化能力,展现出在复杂任务中的潜力。尽管取得了进展,仍面临物理和任务覆盖等挑战,未来需结合仿真与现实世界数据以实现更广泛的应用。
中国国家发展和改革委员会警告,类人机器人行业可能面临泡沫风险。尽管应用案例稀少,投资仍在涌入,导致市场上出现大量相似模型。目前中国有超过150家类人机器人公司,其中一半为初创企业。
本文讨论了通用动作重定向(GMR)在类人机器人动作追踪中的应用。GMR通过重定向人类运动数据,克服了人类与机器人之间的结构差异。研究表明,重定向方法的选择对机器人性能至关重要,伪影如脚部滑动和穿透会影响学习效果。GMR的流程包括关键身体部位匹配、姿态对齐、局部缩放和逆运动学求解,以提高动作重定向的质量和效率。
本文讨论了DreamControl,一种结合扩散模型与强化学习的全身类人机器人控制方法。该方法利用人类动作数据生成自然运动轨迹,提升机器人在复杂环境中的自主操作能力,解决了稳定性和协调性问题。研究表明,该方法在多种任务中有效,推动了人形机器人技术的发展。
本文讨论了VisualMimic框架在类人机器人行走与操作中的应用,通过分层设计提升强化学习的泛化能力。该框架结合低层关键点跟踪与高层视觉运动策略,使机器人在真实环境中执行多样化任务,展现出良好的鲁棒性和适应性。研究强调自我中心视觉感知与全身灵巧性的结合,推动了人形机器人在物体交互方面的进展。
Meta计划投入数十亿美元开发类人机器人,CTO安德鲁·博斯沃斯指出软件是主要瓶颈。Meta将其软件平台授权给其他制造商,旨在实现灵活的机器人操作能力。该团队由前Scale CEO领导,吸引了多位顶尖人才。
VideoMimic是一种通过单目视频学习人类动作并转化为类人机器人控制策略的方法。该系统能够重建人类及其环境,训练机器人在不同场景中自主执行动作,如上下楼梯和坐下。研究表明,VideoMimic在多样化环境中表现出良好的鲁棒性,未来将扩展应用以实现更复杂的人机交互。
本文介绍了R2S2和OpenWBT项目,旨在通过构建多技能的现实世界技能空间,提升类人机器人在复杂任务中的表现。研究者结合模仿学习与强化学习,优化技能协调与切换,以确保机器人在真实环境中的稳定性与有效性。
微软亚洲研究院的ACE Talk系列讲座邀请北京大学副教授卢宗青,主题为“利用互联网视频扩展类人机器人学习”。他将探讨如何通过视觉-语言模型、动作模型和强化学习,利用互联网视频数据教授机器人类人技能。讲座定于6月11日举行,欢迎报名参加。
本研究探讨通过人类自我中心示范数据训练类人机器人,以提升其任务和平台间的鲁棒性与泛化能力。我们收集了与类人操作示范对齐的任务导向数据集,并训练了人类-类人行为策略(HAT),实现了人类与类人机器人的统一状态-动作空间。结果显示,人类数据显著增强了HAT的泛化能力和鲁棒性。
NVIDIA在亚特兰大国际机器人与自动化会议上展示了其在生成AI、仿真和自主操作方面的研究突破。这些创新将推动自主车辆和类人机器人的发展,提升安全性和控制能力,主要研究包括生成4D驾驶场景、实时感知故障监测和人机交互政策调整,旨在改善机器人学习和应用的可靠性。
本研究提出HuB框架,解决类人机器人在平衡控制中面临的不稳定性、学习难度和传感器噪声问题,显著提高其在极端单腿姿势下的平衡稳定性。
本研究提出了SoccerDiffusion,一个基于变压器的扩散模型,旨在从现实比赛记录中学习类人机器人足球的控制策略。该模型能够实时推理复杂运动行为,为后续强化学习提供基础,并发布了相关数据集和代码,推动机器人体育智能的发展。
本研究开发了一种高强度抓取器,具备嵌入式多模态感知功能,能够产生110牛顿的抓取力。该抓取器通过优化感知驱动,提升了物体抓取的精准性和效率,为类人机器人在复杂环境中的应用提供了新方案。
小鹏汽车投资138亿美元进军类人机器人领域,计划在2024年发布具有人类运动能力和强大处理器的机器人“铁”。该机器人将整合进汽车生产,以提高效率、减少错误和降低人力成本,助力中国的AI和自动化战略。
Nvidia发布了Isaac GR00T N1,这是一个开源可定制的基础模型,旨在加速类人机器人开发。创始人黄仁勋表示,通用机器人时代已经到来。该模型采用双系统架构,结合快速反应与环境推理,支持开发者进行后期训练。
本研究提出了一种新颖的解决方案StyleLoco,结合强化学习与生成对抗模仿学习,以提升类人机器人在多样化运动任务中的自然运动表现。
完成下面两步后,将自动完成登录并继续当前操作。