本文提出两种方法解决深度强化学习在非线性函数逼近下处理均值场博弈的问题：一种是通过神经网络蒸馏历史数据为混合策略，另一种是基于正则化的在线混合方法。数值实验表明，这些方法有效且优于现有基线，能够解决大规模多代理和多人口游戏的学习问题。