本文综述了PPO及其改进算法。PPO通过替代目标函数实现多轮小批量更新，兼顾样本效率与实现简便性。后续研究提出自适应PPO-CLIP、Truly PPO、信任区域引导PPO、ESPO早停策略等改进，以解决探索不足和剪辑缺陷。研究还发现，代码级优化对PPO性能的影响显著，甚至超过算法本身的差异。