本文提出了多种强化学习算法，包括广义策略镜像下降（GPMD）、$h$-PMD、镜像下降策略优化（MDPO）和同伦策略镜像下降（HPMD），旨在解决具有凸正则化的强化学习问题。这些算法具有线性收敛特性，并在不同实验中验证了其有效性，展示了在大状态空间和有限状态空间中的应用潜力。

本文提出了同伦策略镜像下降（HPMD）和基于块的策略镜像下降（BPMD）等新策略梯度方法，以解决强化学习中的凸正则化问题。这些方法在收敛性和计算效率上表现优越，能够应对多智能体环境中的挑战，并展示了在不同任务中的应用潜力。