通过分散相位振荡器学习新兴步态：关于观察、奖励和反馈的作用
内容提要
本文综述四足机器人运动控制研究，涵盖强化学习、中枢模式发生器、分层学习框架和进化策略等方法，实现多步态切换、抗扰动、能量优化及仿真到现实迁移，并探索动态系统结构识别与软体机器人步态自动生成。
延伸解读
强化学习与CPG的融合优势
文章提到将中枢模式发生器（CPG）整合到深度强化学习框架中，直接调制振荡器的振幅和频率，并协调节律行为。这种方法能产生稳健的全向运动，并探索神经科学问题如感觉反馈的作用。在Unitree A1上的实验表明，该框架在无领域随机化下即可部署，且能抵抗动态负载干扰，这为四足机器人控制提供了新思路。
分层学习框架与能量效率
文章介绍了分层学习框架结合进化策略训练高级步态策略和低级凸优化MPC控制器，实现了从行走到飞奔的自动步态切换，且能量消耗显著低于基准控制器。另一项研究利用强化学习最小化机械能消耗，在仿真和硬件中验证了自然步态，甚至实现非结构化奔跑步态，与动物运动控制研究一致。
仿真到现实迁移的鲁棒性
文章强调通过系统辨识改进物理模拟器，并利用物理环境随机与扰动设计控制器，成功在现实世界部署。基于镜像世界神经网络的控制器展现出强抗扰动性能和泛化能力。此外，结合Adversarial Motion Priors的算法能以更低功耗遍历挑战性地形，表明仿真到现实迁移在四足机器人中已取得显著进展。
Q&A
如何让四足机器人学习多种步态并平滑切换？
可以使用四个独立的相位来描述步态发生器与控制策略之间的接口，通过强化学习算法解决多任务学习问题，使机器人能在自然环境下流畅、稳健地学习所有运动技能并遵循速度命令。
如何将中枢模式发生器（CPG）与深度强化学习结合用于四足机器人控制？
将CPG（振荡器系统）整合到深度强化学习框架中，直接调制内在振荡器设定点的振幅和频率，并协调不同振荡器间的节律性行为，从而产生稳健且全向的四足运动。
四足机器人控制器如何实现仿真到现实（sim-to-real）迁移？
在模拟中训练策略，然后进行sim-to-real转移至Unitree A1。该框架可以在没有任何领域随机化和非常少的反馈的情况下部署，仅需提供振荡器状态和触点布尔值。
如何设计能量高效的四足机器人运动控制器？
采用分层学习框架和进化策略来训练高级步态策略和低级凸优化MPC控制器，实现机器人从行走到小跑再到飞奔等不同速度下自动切换步态，且在整个运动速度范围内能量消耗显著低于基准控制器。
如何利用深度强化学习自动化四足机器人运动设计？
利用深度强化学习技术自动化四足机器人运动设计过程，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。
如何提高四足机器人运动控制器的抗扰动性能和泛化能力？
使用无模型强化学习在仿真环境下训练基于镜像世界神经网络的四足机器人运动控制器，具有极强的抗扰动性能和泛化能力，能够协调机器人的动作频率和运动速度，实现更加自然和合理的运动模式。
如何通过推断动态系统参数来改善四足机器人的步态？
提出一种新算法，可以推断关于动态系统参数的信息，同时从先前的观察中估计有关机器人状态的重要信息，并将其与Adversarial Motion Priors结合，实现了机器人在真实世界中稳定、灵活和自然的步态，相对于基线算法能够以更低的功耗遍历具有挑战性的地形。
如何让四足机器人在不同地形下学习最小化机械能消耗的步态？
利用机器人的实验研究方法，研究四足机器人在不同地形下的学习最小化机械能消耗以实现不同速度下的自然运动步态，并在仿真和现实硬件的自然地形中验证，这种方法也能够实现非结构化的奔跑步态。
如何自动生成软体机器人的步态？
使用非常少的计算，无需模拟和用户输入的方法，实现了软体机器人的自动生成步态，性能优于手工制作的步态。
PRELUDE层级学习框架是什么？
PRELUDE是一个层级学习框架，包括高层决策和低层步态生成。高层导航控制器用人类演示进行了模仿学习，低层步态控制器则使用强化学习获得多样化的步态。该方法在仿真和硬件实验中表现出色。
