该文综述强化学习中基于熵正则化的策略优化方法，包括样本感知熵正则化、最大熵演员-评论家算法（如SAC）、离线策略算法（BRAC）和演员集成算法（ACE），并探讨熵奖励在策略评估与改进中的作用及有限时间分析。

本文综述线性双时间尺度随机逼近的有限时间分析，涵盖马尔可夫与鞅噪声下的收敛速率、SARSA及TD学习等算法的样本复杂度、异步与分布式优化，以及非独立同分布数据下的误差界。