本文提出了两种方法解决深度强化学习算法在非线性函数逼近下无法处理 mean field games 的问题。第一种方法是通过神经网络将历史数据蒸馏为混合策略，应用于 Fictitious Play 算法。第二种方法是一种基于正则化的在线混合方法，不需要记忆历史数据或先前的评估，可以扩展在线 Mirror Descent 算法。数值实验表明，这些方法有效地解决了各种 mean field games，并且优于文献中的 SotA 基线。

该文介绍了一种离线强化学习方法——悲观非线性最小二乘值迭代(PNLSVI)，用于非线性函数逼近。该方法包括方差加权回归、方差估计子程序和基于悲观值迭代的规划阶段。该方法的遗憾界与函数类的复杂性紧密相关，并在针对线性函数逼近的情况下实现极小化的最优实例相关遗憾。