在连续状态 - 动作空间中驯服 “数据饥饿” 的强化学习稳定性
内容提要
本文综述强化学习的多项进展：将策略镜像下降推广至一般状态与动作空间，结合函数逼近实现无需显式策略参数化，并提出策略对偶平均，在精确评估下证明线性收敛并分析逼近误差影响；此外涵盖Lyapunov奖励塑造加速收敛、安全层避免约束违反、连续时间泊松时钟算法、在线学习与Lyapunov控制结合、状态聚合乐观算法、动作影响估计离线算法、占据时间策略梯度、状态表示学习稳定函数逼近，以及无参数归一化策略梯度。
延伸解读
理论突破：策略镜像下降的推广与收敛保证
文章将策略镜像下降推广到一般状态和动作空间，并结合函数逼近摆脱显式策略参数化，还提出策略对偶平均方法。在精确策略评估下，这些方法被证明具有线性收敛速度，并分析了逼近误差的影响。这意味着强化学习算法在连续空间中的理论稳定性得到增强，为后续实践提供了收敛性依据。
实践增强：奖励塑造与安全层设计
针对状态空间不可预测和约束违反问题，文章介绍了Lyapunov启发式奖励塑造以加速收敛，以及通过安全层避免学习过程中违反约束。这些方法在物理系统（如数据中心冷却、机器人）中具有部署价值，表明强化学习正从仿真走向现实场景，兼顾学习效率与安全性。
连续时间与离线学习的算法进展
文章涵盖连续时间泊松时钟算法（实现近连续时间下阶悔恨度O(√T)）、在线学习与Lyapunov控制结合用于移动机器人稳定控制，以及离线强化学习中基于动作影响估计的算法。这些进展拓展了强化学习在连续时间和离线设定下的适用性，并提供了理论性能保证。
表示学习与策略梯度的稳定性改进
针对函数逼近不稳定问题，文章提出基于状态表示学习的解决方案，分析转移矩阵、原型值函数和Krylov子空间的适用范围，并验证随机梯度下降可学习可靠表示。此外，无参数归一化策略梯度算法简化了单循环结构，适用于约束强化学习、纯探索和从演示学习等一般效用问题，并给出样本复杂度。
Q&A
策略镜像下降方法在强化学习中有什么新进展？
最近的研究将策略镜像下降方法进行了实质性推广，以处理一般状态和动作空间下的强化学习问题，并引入新方法将函数逼近与之结合，从而完全不需要显式策略参数化。此外，还提出了策略对偶平均方法，可能适用更简单的函数逼近技术。在精确策略评估下，这些方法能建立线性收敛速度，并分析了逼近误差的影响。
如何解决深度强化学习在状态空间不可预测时的收敛问题？
通过引入Lyapunov启发式奖励塑造方法，策略学习可以更快、更稳定地收敛到最优解，从而应对状态空间无法预测、强烈依赖重置的困境。
在物理系统中部署强化学习代理时如何保证安全？
可以添加一层安全层，避免在学习过程中违反约束条件，并通过在惯性路径上学习线性化模型来解决具有任意行动的问题。
连续时间强化学习有哪些算法进展？
研究提出了基于泊松时钟模型的连续时间算法，以克服离散时间和离散状态的局限性，并在近连续时间中实现了阶悔恨度为Õ(√T)的性能。此外，还研究了连续时间和空间设置下的占据时间策略梯度，并应用于TRPO/PPO方法中。
如何将在线强化学习与经典控制结合实现稳定控制？
通过将在线强化学习与基于Lyapunov稳定性理论的经典控制元素结合，可以在不进行长期预训练的情况下为移动机器人提供稳定的控制能力，并通过实验验证了有效性。
离线强化学习中有哪些新算法？
提出了一种基于动作影响估计的离线强化学习算法，在有限时间内的统计简单实例上可以胜过传统的悲观方法。
如何解决强化学习中函数逼近不稳定的问题？
提出基于状态表示学习的解决方案，分析transition matrix、proto-value functions、krylov subspace等方案的适用范围与稳定性，并通过实验验证可以使用随机梯度下降学习可靠的状态表示，从而提高深度网络对强化学习的表示学习技巧。
无参数归一化策略梯度算法有什么特点？
提出了一种更简单的单循环、无参数归一化策略梯度算法，用于解决具有一般效用的强化学习问题，包括约束强化学习、纯探索以及从演示中学习等，同时通过线性函数逼近解决大状态-动作空间的设置，并展示了简单的策略梯度法的样本复杂度。
