本研究提出了一种名为瓦瑟斯坦策略优化（WPO）的强化学习演员-评论家算法，适用于连续动作空间，结合了确定性和经典策略梯度方法的优点，表现优异。

本文研究了模型预测控制（MPC）与强化学习（RL）的关系，探讨其在马尔可夫决策过程中的应用与优势。提出了一种基于演员-评论家方法的分类框架，并展示了如何利用MPC的在线优化提升政策性能。

本研究提出了一种无模型演员-评论家算法，旨在解决离线强化学习中的分布外动作问题。通过引入梯度多样性惩罚和可调行为克隆项，提升了训练的稳定性和准确性。实验结果表明，该算法在D4RL MuJoCo基准上表现优异。

本研究提出了一种基于强化学习的演员-评论家方法（ACING），有效解决了大型语言模型在黑箱环境下的指令优化问题。实验结果表明，ACING在30个任务中优于基线方法，提升幅度最高达39%。

本研究提出了一种改进的文本到SQL转换方法——演员-评论家（AC）方法，通过设计演员和评论家角色，迭代生成和评估SQL查询，显著提高了转换性能。

本文提出了一种可伸缩的演员-评论家方法，解决了网络多智能体强化学习中的本地依赖问题。研究比较了三种多智能体深度强化学习算法的表现，并开源了EPyMARL和两个多智能体研究环境。通过创新架构和注意力机制，解决了学分分配问题。此外，提出了基于HyperAgent的框架和有效的情节记忆利用方法，以提高学习效率和性能。最后，针对离线多智能体强化学习的基准和评估协议不一致性问题，提出了改进方案。

本文探讨了深度强化学习中的多种方法，包括基于参数的价值函数和演员-评论家框架。研究提出了一种新的状态-值函数逼近方法，解决了高维动作表示问题，并在稀疏奖励任务中表现出色。此外，介绍了VA-learning和CSVE等新算法，提升了样本效率和策略优化效果，具有实际应用价值。

深度强化学习存在估计偏差问题。研究提出双TD规范化演员-评论家（TDR）方法，结合分布学习与长N步替代阶段奖励，在DeepMind Control Suite中超越基线，显著提升TD3和SAC性能，媲美并改善D4PG。

该文汇总多项演员-评论家强化学习研究：ATAC以Stackelberg博弈实现离线学习；SAAC结合最大熵与安全约束；SAC提升稳定性与样本效率；Adversarially Guided AC促进探索；O-RAAC学习风险规避策略；DSAC-T经三项修正超越主流算法；另有决策感知联合目标、SARC回溯损失、DAC双演员及RNAC鲁棒方法等改进。