MuJoCo 人形控制的 MPC：在 HumanoidBench 上的评估
内容提要
本文介绍了HumanoidBench人形机器人学习基准，旨在加速人形机器人算法研究。研究表明，分层学习在多项任务中优于传统强化学习。文章还提出了一种基于物理的控制器，能够在复杂环境中实现高保真度的运动模仿，并展示了机器人在真实世界中模仿人类动作的能力。
延伸解读
分层学习为何在HumanoidBench中更有效
HumanoidBench的研究显示，当配备稳健的低级策略（如行走或伸手）时，最先进的强化学习算法在大多数任务中表现不佳，而分层学习基准则实现了优越的性能。这表明，对于高维人形机器人控制，将复杂任务分解为低级技能和高级决策可能比端到端强化学习更有效。读者可以关注分层架构中低级策略的鲁棒性如何影响整体任务表现。
从仿真到真实世界的动作模仿挑战
文章提到，直接使用动作捕捉数据进行模仿学习可能无法适用于真实人形机器人，因为自由度和物理能力存在巨大差距。Exbody方法通过鼓励上半身模仿参考动作，而放松对双腿的模仿约束，只要求稳定跟随速度，从而在真实机器人上实现多样动作。这提示读者，在仿真中训练的策略需要针对真实硬件进行适当调整，尤其是平衡模仿精度与物理可行性。
H-GAP：基于MPC的人形通用规划器
H-GAP是一种基于人形轨迹数据训练的通用自编码规划器，能够通过模型预测控制（MPC）处理下游控制任务。文章指出，H-GAP不仅在任务处理上表现出色，而且性能超过了具备地面实况模型的MPC基准线，并与针对各个任务训练的离线强化学习方法相当或更优。这表明，利用大规模轨迹数据训练通用模型，可能为MPC在人形控制中提供更强大的先验知识。
多批评者框架处理混合奖励
文章提出了一种基于学习的控制框架，利用多批评者强化学习算法有效处理密集与稀疏奖励的混合，并采用基于Transformer的编码器适应可变数量的目标。实验表明，与标准单批评者方法相比，多批评者方法显著降低了超参数调整的工作量，同时Transformer架构使机器人能够预测未来目标，提升达到目标的能力。这为复杂运动任务中的奖励设计提供了新思路。
Q&A
HumanoidBench是什么？
HumanoidBench是一个基于高维度的模拟机器人学习基准，旨在加速人形机器人算法研究。
分层学习在机器人控制中有什么优势？
研究表明，分层学习在多项任务中优于传统强化学习，尤其是在配备稳健的低级策略时。
如何实现高保真度的运动模仿？
通过提出一种基于物理的控制器，能够在复杂环境中实现高保真度的运动模仿和容错行为。
Exbody方法的主要特点是什么？
Exbody方法通过鼓励上半身模仿参考动作，同时放松对腿部的模仿约束，以解决人形机器人模仿人类动作的挑战。
H-GAP模型的优势是什么？
H-GAP是一种人型通用自编码规划器，能够熟练处理下游控制任务，性能超过传统方法。
对抗模仿学习在模拟人型模型中的应用是什么？
对抗模仿学习通过仅使用少量演示，在模拟人型模型上学习行走和奔跑步态，实现自然且类似人类的步态。
