受限马尔可夫决策过程中的一般参数化策略的最后迭代收敛性
原文中文,约300字,阅读约需1分钟。发表于: 。本研究旨在解决学习受限马尔可夫决策过程(CMDP)中的一般参数化问题,并提出了一种基于原始-对偶的正则化加速自然策略梯度(PDR-ANPG)算法。该算法在样本复杂度方面显著提升了当前CMDP的一般参数化策略的最后迭代保障,展示了具有潜在影响的高效收敛性。
本文介绍了加速自然策略梯度算法(ANPG)用于解决无限时间折扣奖励马尔可夫决策过程问题。ANPG在一般参数化情况下具有较低的样本复杂度和迭代复杂度,通过改进样本复杂度实现了更高的效率。该算法不需要假设重要性采样权重的方差有上界。在无Hessian和无重要性采样算法类别中,ANPG的样本复杂度超过了已知算法的倍数,并与其迭代复杂度相匹配。