线性可解的 MDP 与线性二次调节器的 Tsallis 熵正则化
内容提要
本文综述熵正则化强化学习进展，包括提出Tsallis MDPs与TAL方法以提升非闭合Tsallis熵鲁棒性，构建平均回报与稀疏熵正则化框架并发展稀疏PCL、对偶下降及量化逼近技术，利用Tsallis熵实现更优损失保证并用于随机博弈纳什均衡求解。
延伸解读
Tsallis熵正则化的核心优势
文章指出，Tsallis熵引入熵指数参数，可控制探索倾向和策略优化的不同维度。相比Shannon熵，Tsallis熵在非闭合形式下仍能保持误差鲁棒性，TAL方法在实验中显著优于Tsallis-DQN，且性能与最先进的Shannon熵算法相当。这为强化学习提供了一种更灵活的探索机制。
稀疏熵正则化与路径一致性学习
针对稀疏MDP，文章提出因果稀疏Tsallis熵正则化，引导稀疏和多模态最优策略分布。稀疏PCL算法在动作数量较多时优于标准Shannon熵正则化RL。这表明在复杂动作空间中，稀疏熵正则化能提升收敛速度和性能，为高维决策问题提供了新思路。
理论保证与算法收敛性
文章在tabular MDP中通过设计正则化器、探索奖励和学习率，实现了随机损失下Polylog(T)的损失保证，对抗情况下不降低最坏情况保障。同时，加速对偶下降方法用于约束MDP，实现全局收敛。这些理论进展为熵正则化RL的可靠性提供了支撑。
在随机博弈与量化问题中的应用
文章将熵正则化扩展到零和随机博弈，提出Q-learning类型算法，使用软策略近似纳什策略，并证明收敛性。此外，基于软极小函数的逼近技术用于熵正则化Wasserstein距离的量化问题，控制参数可调难度。这些应用展示了熵正则化在复杂环境中的潜力。
Q&A
Tsallis MDPs 是什么？它和传统 MDP 有什么区别？
Tsallis MDPs 是本文提出的一种新的马尔可夫决策过程类别，用于强化学习问题。它使用一个额外的实数值参数（熵指数）来控制勘探倾向和优化政策的不同维度，并采用 Tsallis 熵最大化，以无模型演员-评论家策略实现。
TAL 方法解决了什么问题？效果如何？
TAL（Tsallis Advantage Learning）方法通过强制隐式 Kullback-Leibler 正则化，提高了 Maximum Tsallis entropy 框架对非闭合形式 Tsallis 熵的误差鲁棒性。实验表明，它在各种非闭合形式 Tsallis 熵上显著优于 Tsallis-DQN，且性能与最先进的 Shannon 熵算法相当。
稀疏熵正则化强化学习有哪些进展？
本文提出了带有因果稀疏 Tsallis 熵正则化的稀疏 MDP，引导稀疏和多模态最优策略分布，并与软 MDP 比较，在收敛速度和性能上优于现有方法。此外，还提出了稀疏 PCL 算法，证明其比标准 Shannon 熵正则化 RL 更优，尤其在动作数量较多时。
熵正则化平均回报强化学习的一般框架是什么？
该框架针对 Markov 决策过程，通过使用条件熵对联合状态-动作分布进行正则化，将一些先进的熵正则化 RL 算法形式化为 Mirror Descent 或 Dual Averaging 的近似变体，并在简单实验中展示了各种正则化技术对学习性能的影响。
如何利用 Tsallis 熵获得更优的损失保证？
针对 tabular MDP 的策略优化，通过设计适当的正则化器、探索奖励和学习率，在随机损失下实现更优的 Polylog(T) 损失，而在对抗情况下不降低最坏情况保障。使用 Tsallis 熵和 Shannon 熵正则化器实现了这一目标，并展示了在已知转移条件下利用对数障碍正则化器可获得一阶损失保证。
熵正则化如何用于求解随机博弈的纳什均衡？
通过使用策略近似来减少学习零和随机博弈纳什均衡的计算成本，提出了一种新的 Q-learning 类型算法，使用一系列经过熵正则化的软策略来近似 Q 函数更新期间的纳什策略。在某些条件下，该算法收敛于纳什均衡，并演示了快速适应新环境的能力。还提供了动态超参数调度方案来进一步加快收敛速度。
