clipped surrogate loss in PPO

PPO是一种off policy的强化学习算法，可以重复使用之前的policy与环境交互得到的数据。

PPO通过将一个分布中的采样数据转换为另一个分布中的采样数据来更新模型参数。

PPO的核心公式涉及新旧策略在状态下的概率比值r_t(θ)。

ratio是新旧策略的概率比值，clip_range用于裁切比值，避免其过大或过小。

clamp的作用是避免比值过大或过小，以减少方差带来的误差。

被clamp过的部分没有梯度，意味着不希望new policy和old policy的差异过大。

min函数用于在不同情况下决定是否更新模型参数，确保模型学习到有效的信息。