本文针对强化学习中的延迟奖励问题，提出了对近端策略优化（PPO）算法的两项增强，结合离线与在线策略，并引入基于时间窗口的奖励塑造机制，以提高学习效率和性能。

本研究介绍了StepTool，一种新的分步强化学习框架，解决大型语言模型在工具学习中的问题。通过分步奖励和优化，StepTool显著提升了工具学习效果，优于现有方法，适用于复杂任务环境。

本文综述强化学习中的奖励塑造方法。PBRS可加速收敛，但在高维系统中提升有限，其奖励项缩放更稳健。后续研究提出自适应塑形奖励、FV-RS、逆向强化学习中的潜力塑造、内在奖励机制、磁场奖励制及GPIM等方法，旨在提升样本效率与学习性能，并解决辅助奖励不对齐问题。