本文提出了一种新的政策梯度算法——得分熵策略优化（SEPO），旨在解决离散扩散模型在使用人类反馈的强化学习中的微调难题。该方法在处理非可微分奖励时展现出良好的可扩展性和效率，可能推动相关研究的发展。

本文提出了一种新型政策梯度算法，适用于状态值和策略函数逼近，解决高维“诅咒”问题，确保离线学习收敛。研究改进了多种Actor-Critic算法，强调样本复杂度和收敛速度，展示了在动态环境中的强化学习应用效果。