量子位
·
98年哈工大教授创业，要做人形灵巧操作世界模型
内容提要
杨朔团队发布了TouchWorld触觉世界模型，旨在提升机器人灵巧操作能力。该模型通过预测接触和实时触觉反馈，帮助机器人在实际操作中修正动作。破晓智能致力于整合人类视频数据与触觉感知，推动机器人从“看见世界”到“接触世界”的进步。
关键要点
-
杨朔团队发布了TouchWorld触觉世界模型，旨在提升机器人灵巧操作能力。
-
TouchWorld通过预测接触和实时触觉反馈，帮助机器人在实际操作中修正动作。
-
破晓智能致力于整合人类视频数据与触觉感知，推动机器人从“看见世界”到“接触世界”的进步。
-
TouchWorld的核心能力是让机器人预测接触的发生，并在真实操作中利用触觉反馈进行调整。
-
Touch系列模型构成了一条从数据到世界模型、再到全身控制的能力链。
-
EgoTouch解决触觉数据采集，TouchAnything扩展触觉监督，TouchWorld则将触觉融入机器人操作策略。
-
TouchWorld在六个真实机器人任务中测试，成功率达到65.0%，验证了触觉在机器人操作中的重要性。
-
破晓智能正在搭建多模态数据采集平台，以获取更接近人手真实感觉的数据。
-
HumanWBC是破晓智能最终目标的闭环，旨在让机器人实现自主移动和灵巧操作。
延伸解读
触觉在机器人操作中的重要性
TouchWorld模型的成功率虽然达到65.0%，但仍显示出灵巧操作的复杂性。触觉不仅是机器人操作的补充，更是提升操作稳定性的关键。未来，触觉的整合将使机器人在真实环境中更有效地执行任务。
数据采集的挑战与解决方案
破晓智能面临的触觉数据采集问题，反映了机器人技术发展的瓶颈。团队通过搭建多模态数据采集平台，旨在低成本、高效率地获取真实操作数据。这一策略将为触觉模型的进一步发展奠定基础。
从视觉到触觉的转变
TouchAnything模型的提出，标志着机器人学习过程中的重要转变。通过从第一人称视频中恢复触觉信息，机器人能够更全面地理解人类的操作方式。这种方法将极大地丰富机器人的学习数据，提升其灵巧操作能力。
延伸问答
TouchWorld触觉世界模型的主要功能是什么？
TouchWorld的主要功能是通过预测接触和实时触觉反馈，提升机器人在实际操作中的灵巧操作能力。
破晓智能的目标是什么？
破晓智能的目标是整合人类视频数据与触觉感知，推动机器人从“看见世界”到“接触世界”的进步。
TouchWorld在机器人任务中的成功率如何？
TouchWorld在六个真实机器人任务中的成功率达到65.0%。
Touch系列模型的构成是什么？
Touch系列模型包括EgoTouch、TouchAnything和TouchWorld，构成了一条从数据到世界模型、再到全身控制的能力链。
TouchWorld如何处理触觉数据？
TouchWorld通过预测未来的接触状态，并在执行中根据触觉反馈修正动作，来处理触觉数据。
杨朔教授的研究方向是什么？
杨朔教授长期关注多模态大模型、Data-Centric AI、可信AI、计算机视觉与具身智能等方向。
