本文研究了深度强化学习算法的性能瓶颈，发现高TD误差是主要影响因素。通过正则化技术找到验证TD误差的最低点是提高深度RL效率的强有力原则。在线模型选择方法在基于状态的DMC和Gym任务中也是有效的。

本文研究了深度强化学习算法的性能问题，发现高 TD 错误是主要原因。通过正则化技术找到验证 TD 误差的最低点可以提高深度 RL 的效率。同时，一种在线模型选择方法在基于状态的 DMC 和 Gym 任务中也是有效的。