ASAP——让宇树G1后仰跳投且跳舞：仿真中重现现实轨迹，然后通过增量动作模型预测仿真与现实的差距，最终缩小差距以对齐
💡
原文中文，约5000字，阅读约需12分钟。
📝
内容提要
本文介绍了CMU的ASAP项目，旨在提高人形机器人在现实环境中的灵活性和表现力。该项目采用两阶段框架，首先在仿真中训练，然后利用真实数据进行策略微调，以解决仿真与现实之间的动力学差异。研究结果表明，ASAP方法在机器人动作跟踪和灵活性方面具有显著价值。
🎯
关键要点
- CMU的ASAP项目旨在提高人形机器人在现实环境中的灵活性和表现力。
- ASAP采用两阶段框架，首先在仿真中训练，然后利用真实数据进行策略微调。
- 研究表明，ASAP方法在机器人动作跟踪和灵活性方面具有显著价值。
- 实现类人机器人灵活的全身技能依然是一项根本性挑战，主要源于硬件限制和仿真与现实之间的动力学不匹配。
- ASAP包括预训练阶段和后训练阶段，分别在仿真中训练基础策略，并通过对齐仿真与真实世界动力学对策略进行微调。
- 预训练阶段利用人体运动视频作为数据源，训练运动跟踪策略。
- 后训练阶段收集真实世界的rollout数据，通过最小化现实世界与仿真状态之间的差异来学习补偿动力学不匹配。
- 作者采用了一种“仿真到数据”的清洗流程，以确保动作重定向的准确性。
- 运动跟踪问题被表述为目标条件强化学习任务，利用非对称Actor-Critic框架提升训练效果。
- 引入终止课程和参考状态初始化策略以提高策略的跟踪性能。
- 后训练阶段通过训练增量动作模型来解决仿真与现实之间的差异问题。
❓
延伸问答
ASAP项目的主要目标是什么？
ASAP项目旨在提高人形机器人在现实环境中的灵活性和表现力。
ASAP项目采用了什么样的训练框架？
ASAP采用了两阶段框架，首先在仿真中训练，然后利用真实数据进行策略微调。
ASAP如何解决仿真与现实之间的动力学差异？
ASAP通过收集真实世界的rollout数据，训练增量动作模型来补偿仿真与现实之间的差异。
在ASAP的预训练阶段使用了什么数据源？
预训练阶段利用人体运动视频作为数据源，训练运动跟踪策略。
ASAP项目的研究结果表明了什么？
研究结果表明，ASAP方法在机器人动作跟踪和灵活性方面具有显著价值。
ASAP项目面临的主要挑战是什么？
实现类人机器人灵活的全身技能是一项根本性挑战，主要源于硬件限制和仿真与现实之间的动力学不匹配。
➡️
