本文介绍了基于最大熵强化学习的离线演员-评论家算法Soft Actor-Critic（SAC），通过改进提高了模型的稳定性和训练速度。该算法在多项基准任务和现实世界挑战中表现优异，尤其在样本效率和渐近性能方面超越了以往算法。同时，研究探讨了适应离散动作空间的方法及其在不同环境中的有效性。

该论文研究了深度强化学习代理的行为模式，分析了离散动作空间和探索选择对训练表现的影响。结果显示，在检查任务中有限选择表现最佳，而在停靠任务中连续控制效果更佳。此外，提出了多层次策略学习和基于潜在空间的强化学习算法，显著提高了样本效率和任务转移能力。