没有代表，没有信任：连接 PPO 中的代表、崩溃和信任问题
内容提要
本文研究了强化学习中的函数逼近不稳定问题，提出了一种基于状态表示学习的解决方案，并分析了多种方法的适用性与稳定性。实验表明，随机梯度下降可以提高深度网络的表示学习效果。此外，提出了改进的PPO算法，显著提升了样本效率和性能。研究表明，成功的离线强化学习需要更强的条件。
延伸解读
函数逼近不稳定性的根源与表示学习
文章指出强化学习中函数逼近的不稳定性是一个核心问题，并提出基于状态表示学习的解决方案。通过分析转移矩阵、原型值函数和克里洛夫子空间等方案的适用范围与稳定性，文章强调了表示学习在缓解不稳定性中的关键作用。实验表明，随机梯度下降能够有效学习可靠的状态表示，从而提升深度网络在强化学习中的表示学习技巧。这为理解不稳定性提供了新视角。
改进PPO算法：提升样本效率与性能
文章介绍了名为Truly PPO的增强方法，针对PPO在优化行为方面的问题，通过新的剪辑函数支持回滚行为，并使用基于可信区域的触发条件替换剪辑触发条件，从而保证拟态策略性能的单调改进。此外，Trust Region-Guided PPO通过自适应调整裁剪范围解决了初始条件差时探索不足的问题。这些改进显著提升了PPO的样本效率和最终性能。
离线强化学习的稳定性条件与挑战
文章从实证角度研究了离线强化学习的稳定性，发现即使使用预训练神经网络的特征，仍存在显著的误差扩大，离线强化学习仅在极小的分布偏移范围内稳定。这表明成功的离线强化学习需要比监督学习更强的条件。此外，Behavior Proximal Policy Optimization基于线下单调策略改进的分析，无需额外约束就能在D4RL基准测试中超越最先进的线下RL算法，为离线RL提供了新思路。
Q&A
强化学习中的函数逼近不稳定问题是什么？
函数逼近不稳定问题是指在强化学习中，使用函数逼近方法时可能导致学习过程的不稳定性和性能下降。
如何解决强化学习中的函数逼近不稳定问题？
可以通过基于状态表示学习的方法来解决该问题，提升深度网络的表示学习效果。
改进的PPO算法有什么优势？
改进的PPO算法显著提升了样本效率和性能，尤其在高维控制任务中表现优异。
随机梯度下降在深度网络中的作用是什么？
随机梯度下降可以提高深度网络在强化学习中的状态表示学习效果，从而增强学习性能。
成功的离线强化学习需要哪些条件？
成功的离线强化学习需要更强的条件，这些条件超出了成功监督学习所需的条件。
PPO和TRPO在使用过度参数化神经网络时的收敛性如何？
PPO和TRPO在使用过度参数化神经网络时能够收敛于全局最优策略，且收敛速度为次线性。
