通过多层级演员 - 评论家算法在平均奖励强化学习中实现全局最优性无需混合时间预言机
原文中文,约400字,阅读约需1分钟。发表于: 。通过引入多层渐进策略梯度估计方法,解决了在平均奖励增强学习中混合时间知识的依赖性问题,并取得了比之前的基于策略梯度方法(PPGAE)更高的奖励表现。
该研究提出了有限时间全局收敛分析方法,针对无限时间平均奖励马尔可夫决策过程中的策略梯度方法。研究表明,策略梯度迭代以 O(log(T)) 的速率收敛到最优策略,并获得了 O(log(T)) 的后悔度保证。研究还重新审视和改进了折扣奖励马尔可夫决策过程的性能界限,并通过模拟评估了平均奖励策略梯度算法的性能。