无限时间平均回报马尔可夫决策过程的方差减少政策梯度方法
原文中文,约400字,阅读约需1分钟。发表于: 。基于政策梯度的两种方法在无限时间平均奖励马尔可夫决策过程中引入了一般参数化。第一种方法采用隐式梯度传输进行方差降低,确保了预期后悔度为 $\tilde {\mathcal {O}}(T^{3/5})$ 数量级。第二种方法以 Hessian-based 技术为基础,确保了预期后悔度为 $\tilde {\mathcal {O}}(\sqrt {T})$...
该研究提出了有限时间全局收敛分析方法,针对无限时间平均奖励马尔可夫决策过程中的策略梯度方法。研究表明,策略梯度迭代以O(log(T))的速率收敛到最优策略,并获得了O(log(T))的后悔度保证。研究还重新审视和改进了折扣奖励马尔可夫决策过程的性能界限,并通过模拟评估了平均奖励策略梯度算法的性能。