具有动力学感知奖励的样本高效偏好强化学习
内容提要
本文综述基于偏好的强化学习（PbRL）研究进展，涵盖奖励模型初始化、状态增强、离线学习、人机协作多智能体及主动查询教师偏好等方法，旨在减少人类反馈需求、提升样本效率与策略性能，并在运动、机器人操作等任务中验证有效性。
延伸解读
奖励模型初始化：降低性能波动
文章指出，基于偏好的强化学习中初始奖励模型存在高度变异性，会影响多次运行的表现。为此，研究者提出数据驱动的奖励初始化方法，在不增加人类反馈成本的前提下，使初始奖励模型在状态空间中更均匀，从而减少性能波动并提升整体效果。这一方向对于实际部署中需要稳定性的场景尤为重要。
离线偏好学习：行为约束提升效率
在离线基于偏好的强化学习中，传统两阶段方法面临第二阶段效用模型难以优化的挑战。文章介绍了一种通过行为约束（行动剪辑）的两阶段学习方法，忽略数据集中未充分覆盖的状态-动作，以降低学习复杂度。该方法在多种机器人控制环境中验证了其学习效率，为离线偏好学习提供了实用思路。
人机协作与多智能体扩展
文章提到，人机协作中基于偏好的强化学习在单智能体场景已取得进展，但在多智能体框架中，人类主动表达偏好的应用仍待探索。此外，主动查询教师偏好的方法能让智能体学习更复杂的运动和操作技能，并利用实时反馈预防奖励利用。这些方向表明偏好学习正从单智能体向更复杂的人机交互场景延伸。
样本效率与奖励恢复的改进
为提升样本效率，文章综述了多种技术：利用未标记轨迹的损失函数、结构化奖励模型嵌入空间以反映状态与操作距离、以及对等正则化自训练克服相似陷阱。这些方法在机械臂操作等任务上优于PEBBLE等基线，表明结合半监督和结构化先验是减少人类反馈需求的有效途径。
Q&A
基于偏好的强化学习（PbRL）主要想解决什么问题？
PbRL旨在减少对人类反馈的需求，提升样本效率和策略性能，使智能体能够学习复杂任务。
在PbRL中，如何减少初始奖励模型性能的变异性？
可以采用数据驱动的奖励初始化方法，该方法不增加人在环中的额外成本，且初始化的奖励模型在状态空间中是均匀的，从而减少多次运行中方法性能的变异性。
离线PbRL中两阶段学习有什么挑战，如何解决？
挑战是第二阶段学到的效用模型可能对学习代理优化来说过于困难。解决方法是通过行为约束实现两阶段学习，即行动剪辑，忽略数据集中未充分覆盖的状态-动作，以提高学习效率。
如何利用未标记的轨迹提高PbRL的样本效率和奖励恢复能力？
可以提出两个损失函数，利用未标记的轨迹集参与奖励学习过程，并结构化奖励模型的嵌入空间以反映状态空间与操作距离之间的结构，从而提高样本效率和奖励恢复能力。
在人机协作的多智能体强化学习中，基于偏好的方法有哪些应用？
人机协作中基于偏好的强化学习是一个活跃的研究领域，已在单个代理人和观察者在环路场景中取得显著进展，但在多代理框架中人类积极参与并表达偏好的应用仍是未知的。
DemPref框架是如何结合演示和偏好查询来学习奖励函数的？
DemPref框架结合演示和偏好查询来学习奖励函数，相比标准偏好学习方法具有更高的效率和更好的性能。
