深度双 Q 学习在演员评论方法中的估计偏差利用
内容提要
深度强化学习存在估计偏差问题。研究提出双TD规范化演员-评论家（TDR）方法，结合分布学习与长N步替代阶段奖励，在DeepMind Control Suite中超越基线，显著提升TD3和SAC性能，媲美并改善D4PG。
延伸解读
TDR方法的核心机制
TDR（双TD规范化演员-评论家）方法针对深度强化学习中的估计偏差问题，结合了分布学习和长N步替代阶段奖励（LNSS）。分布学习有助于更准确地建模价值分布，而LNSS通过长N步奖励提供更稳定的学习信号。这种组合旨在减少偏差，提升演员-评论家算法的性能。
在DeepMind Control Suite上的性能表现
在DeepMind Control Suite的挑战性环境中，基于TDR的演员-评论家学习显著提升了TD3和SAC的性能，使其超越基线，并与当前领先算法D4PG相媲美。此外，TDR还通过平均奖励、收敛速度、学习成功率和学习方差等指标改善了D4PG，达到了新的领先水平。
与相关工作的比较
文章提及了多个解决估计偏差的先前工作，如SDQ-CAL、Double Q-learning、ACC和DAC等。TDR与这些方法的不同之处在于它结合了分布学习和长N步替代阶段奖励，并在DeepMind Control Suite上展示了优越的性能，而其他方法多在MuJoCo或OpenAI Gym上验证。
Q&A
深度强化学习中的估计偏差问题是什么？
深度强化学习中的估计偏差问题指的是Q-learning算法中Q值被过高估计的问题，这会影响算法的性能。
TDR方法是如何解决估计偏差的？
TDR方法通过结合分布学习和长N步替代阶段奖励（LNSS）来校正估计偏差，从而提升演员-评论家方法的性能。
TDR在DeepMind Control Suite中的表现如何？
基于TDR的演员-评论家学习在DeepMind Control Suite中超越了基线，显著提升了TD3和SAC的性能，使其与D4PG性能媲美，并通过平均奖励、收敛速度、学习成功率和学习方差等指标改善了D4PG的性能。
Double Q-learning是如何解决过高估计问题的？
Double Q-learning通过使用两个独立的Q网络来分别选择动作和评估动作价值，从而减少过高估计偏差。
SDQ-CAL算法有什么特点？
SDQ-CAL算法结合了同时双Q学习和保守优势学习，用于改善演员-评论家强化学习在连续控制任务中的样本效率和过高估计偏差问题，并在连续控制基准测试中实现了最先进的性能。
适应性校准评论家（ACC）方法的作用是什么？
ACC方法应用于Truncated Quantile Critics中，通过自适应调整参数消除低方差时间差分目标的偏差，并在OpenAI gym连续控制基准测试中取得了新的最佳成绩。
