本文介绍了基于最大熵强化学习的离线演员-评论家算法Soft Actor-Critic（SAC），通过改进提高了模型的稳定性和训练速度。该算法在多项基准任务和现实世界挑战中表现优异，尤其在样本效率和渐近性能方面超越了以往算法。同时，研究探讨了适应离散动作空间的方法及其在不同环境中的有效性。

我们提出了一种新的最大熵强化学习框架EBFlow，集成了策略评估和策略改进步骤，支持多模态动作分布建模。实验结果显示，EBFlow在高维机器人任务上优于传统方法。