HumanPlus(斯坦福人形机器人)的代码解读与复现关键：从HST到HIT、HardWare
💡
原文中文，约8200字，阅读约需20分钟。
📝
内容提要
本文介绍了Humanoid Shadowing Transformer（HST）的低级控制策略。文章详细解释了HST代码的结构和各个部分的功能。其中，PPO类是HST的核心部分，包括了初始化函数、测试模式函数、训练模式函数、动作选择函数、环境步骤处理函数、回报计算函数和更新函数。更新函数中包括了自适应KL惩罚的过程、计算代理损失和价值损失的过程以及梯度下降更新模型参数的过程。最后，文章提到了HIT部分，但未给出具体内容。
🎯
关键要点
- 本文介绍了Humanoid Shadowing Transformer（HST）的低级控制策略。
- HST代码结构包括多个部分，核心部分为PPO类。
- PPO类包含初始化函数、测试模式函数、训练模式函数、动作选择函数、环境步骤处理函数、回报计算函数和更新函数。
- 更新函数中包括自适应KL惩罚、计算代理损失和价值损失、梯度下降更新模型参数的过程。
- PPO类的初始化函数定义了多个参数，如学习率、价值损失系数等。
- 测试模式和训练模式函数用于设置actor_critic的状态。
- 动作选择函数计算动作及其对应的值和对数概率。
- 环境步骤处理函数更新奖励和完成状态，并记录过渡数据。
- 计算回报函数用于计算最后的值并更新存储。
- 更新函数根据模型类型选择不同的mini-batch生成器，并计算损失。
- 自适应KL惩罚根据KL散度动态调整学习率。
- 代理损失和价值损失的计算是PPO算法的核心部分。
- 最后进行梯度下降更新模型参数，并计算平均损失。
- 文章提到HIT部分，但未给出具体内容。
➡️
