本文针对强化学习中的延迟奖励问题，提出了对近端策略优化（PPO）算法的两项增强，结合离线与在线策略，并引入基于时间窗口的奖励塑造机制，以提高学习效率和性能。

本研究介绍了StepTool，一种新的分步强化学习框架，解决大型语言模型在工具学习中的问题。通过分步奖励和优化，StepTool显著提升了工具学习效果，优于现有方法，适用于复杂任务环境。

本文比较了利用深度强化学习和奖励塑造来控制计算机生成的故事情节和从故事中提取知识图谱的两种自动化技术。通过比较自动化指标和人类参与者的评价，报告了与基线和消融情况的比较。

最近出现了大量的内在动机（IM）奖励塑造方法来学习复杂和稀疏奖励的环境。我们提出了一个扩展的潜在基于奖励塑造（PBRS）方法，保留了最优策略集。同时，我们还提出了一种名为“基于潜在的内在动机”（PBIM）的方法，将IM奖励转化为基于潜在的形式，而无需改变最优策略集。在测试中，我们证明PBIM成功防止了智能体收敛到次优策略并且可以加速训练。