本研究提出了一种改进的策略镜像上升算法(SPMA),有效解决了自然策略梯度方法在大规模状态-动作空间中收敛速度慢的问题。SPMA无需对动作进行规范化,能够快速接近最优值函数,并在多个基准测试中表现出色。
本文综述自然策略梯度(NPG)与方差减少策略梯度方法的收敛性:方差减少PG仍受函数逼近误差影响,而NPG样本复杂度更低。文章提出非渐进收敛保证、动量与自适应学习率方法、约束MDP的原始-对偶NPG、多智能体潜在博弈的独立NPG(达ε-Nash均衡需O(1/ε)次迭代)、Optimistic NPG及加速NPG(样本复杂度O(ε⁻²)),并分析熵正则化NPG的线性收敛。
完成下面两步后,将自动完成登录并继续当前操作。