HumanPlus(斯坦福人形机器人)的代码解读与复现关键：从HST到HIT、HardWare
原文中文，约8200字，阅读约需20分钟。
📝
内容提要
本文介绍了Humanoid Shadowing Transformer（HST）的低级控制策略。文章详细解释了HST代码的结构和各个部分的功能。其中，PPO类是HST的核心部分，包括了初始化函数、测试模式函数、训练模式函数、动作选择函数、环境步骤处理函数、回报计算函数和更新函数。更新函数中包括了自适应KL惩罚的过程、计算代理损失和价值损失的过程以及梯度下降更新模型参数的过程。最后，文章提到了HIT部分，但未给出具体内容。
❓
Q&A
Humanoid Shadowing Transformer（HST）是什么？
Humanoid Shadowing Transformer（HST）是一种低级控制策略，用于人形机器人的控制。
HST代码的核心部分是什么？
HST代码的核心部分是PPO类，它包含多个重要函数，如初始化函数、训练模式函数和更新函数。
PPO类中的更新函数有什么作用？
更新函数用于根据模型类型选择mini-batch生成器，计算损失并更新模型参数。
自适应KL惩罚在PPO算法中如何工作？
自适应KL惩罚根据KL散度动态调整学习率，以确保模型的学习过程稳定。
PPO类的初始化函数定义了哪些参数？
初始化函数定义了学习率、价值损失系数、熵系数等多个参数。
HST的测试模式和训练模式函数有什么区别？
测试模式函数设置actor_critic为测试状态，而训练模式函数则设置为训练状态。
🏷️
