线性可解的 MDP 与线性二次调节器的 Tsallis 熵正则化

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了一种新的Q-learning类型算法,通过使用经过熵正则化的软策略来减少学习零和随机博弈的计算成本,并验证了该算法收敛于纳什平衡并具有更快的加速效果。

🎯

关键要点

  • 提出了一种新的 Q-learning 类型算法,旨在减少学习零和随机博弈的计算成本。
  • 该算法使用经过熵正则化的软策略来近似 Q 函数更新期间的纳什策略。
  • 在特定条件下,该算法能够收敛于纳什平衡。
  • 算法展示了快速适应新环境的能力。
  • 提供了一种动态超参数调度方案,以进一步加快收敛速度。
  • 实证结果表明,该算法在多个随机游戏中收敛于纳什平衡,并且加速效果优于现有算法。
➡️

继续阅读