基于潜力的奖励塑造对内在动机的影响
内容提要
本文综述强化学习中的奖励塑造方法。PBRS可加速收敛，但在高维系统中提升有限，其奖励项缩放更稳健。后续研究提出自适应塑形奖励、FV-RS、逆向强化学习中的潜力塑造、内在奖励机制、磁场奖励制及GPIM等方法，旨在提升样本效率与学习性能，并解决辅助奖励不对齐问题。
延伸解读
PBRS的适用边界与调参优势
文章指出，基于势能的奖励塑造（PBRS）能加速学习收敛，但在高维系统中对收敛速度的提升有限。然而，PBRS奖励项的缩放相对更稳健，更容易调整。这意味着在实际应用中，PBRS可能更适合中低维任务，或作为高维任务中稳定训练过程的辅助手段，而非单纯追求收敛速度的提升。
从固定塑形到自适应与无监督方法
文章综述了多种超越传统PBRS的方法：自适应塑形奖励将塑形项作为双层优化问题，以最大化真实奖励；FV-RS放松了最优解保证，更适合提升样本效率；GPIM则通过无监督学习联合抽象策略与目标条件策略。这些进展表明，奖励塑造正从手工设计转向自动适应和任务无关的学习框架。
内在奖励与辅助奖励的对齐挑战
文章提到，基于学习量的内在奖励可以生成有用行为，但前提是学习器具有内省能力。同时，辅助奖励可能不对齐或指定不良，导致性能下降。2023年的双层目标框架通过结合辅助奖励与主要奖励，提供了一种鲁棒且有原则的集成方式，即使辅助奖励不佳也能保持高性能。这提示研究者和实践者需关注奖励信号的来源与对齐机制。
Q&A
PBRS在强化学习中有什么作用和局限性？
PBRS（潜在基础奖励塑造）可以加速学习收敛，但在高维系统中对收敛速度的提升有限。不过，PBRS奖励项相对缩放更加稳健，更容易调整。
FV-RS方法相比传统PBRS有什么改进？
FV-RS（Final-Volume-Preserving Reward Shaping）放松了不断保持最优解保证，从而更适合提高强化学习算法的样本效率，并在模拟机器人操作任务中实现了显著改进。
如何利用基于潜力的奖励塑造来提升逆向强化学习的计算效率？
逆向强化学习通常需要解决多个强化学习子问题，计算挑战大。使用基于潜力的奖励塑造可以减轻每个子问题的计算负担，从而提升计算效率。
内在奖励机制中，奖励和预测学习器的交互作用有什么重要性？
通过比较14种不同的回报机制，研究发现基于学习量的内在奖励可以生成有用的行为，但前提是每个学习器是内省的，这突出了奖励和预测学习器之间交互作用以及内省预测学习器的重要性。
磁场奖励制是如何设计的，它有什么优势？
磁场奖励制基于磁铁产生的磁场强度建立奖励函数，结合了非线性和非各向同性分布，并通过学习二次潜在函数实现最优策略不变性。在模拟和现实世界的机器人操纵任务中，它比现有奖励制方法表现出更好的样本效率和学习性能。
GPIM方法是什么，它有什么效果？
GPIM（具有内在动机的目标导向策略）是一种新的无监督学习方法，通过将抽象级别的策略与目标条件策略联合学习，在各种机器人任务中证明了其有效性和高效性，大大优于先前的技术。
如何处理辅助奖励函数不对齐或指定不良的问题？
通过使用双层目标的新框架，将辅助奖励与环境的主要奖励相结合，提供了一种集成设计者指定启发式方法的鲁棒且有原则的方式，即使给出不对齐或指定不良的辅助奖励函数，也能始终导致高性能解决方案。
