本文探讨了强化学习中的新方法，研究如何在没有显式访问马尔可夫决策过程（MDP）状态的情况下，利用历史互动模型进行学习。提出了改进的后悔边界和状态聚合误差界限，并介绍了基于特征聚合的政策迭代方法及其与深度强化学习的关系。此外，提出了新的算法以解决连续状态和动作空间中的无悔学习问题，推动了无悔强化学习的可行性和学习能力。

该文综述多智能体博弈学习进展，涵盖：提出JPSRO算法及均衡元求解器并验证广义和博弈收敛性；介绍NeuPL与Simplex-NeuPL实现多样策略学习与最佳响应；提出具零样本泛化能力的神经均衡求解器；研究顺序博弈粗糙相关均衡及高效CFR变体；将PSRO扩展至多人广义和博弈并结合α-Rank建立收敛保证；提出构建开放式学习目标序列的几何框架；探讨大型零和博弈近似纳什均衡的无悔学习与梯度方法整合，以及神经网络学习多人马尔可夫博弈纳什均衡。