通过对齐的经验估计实现高效的基于偏好的强化学习
内容提要
本文探讨了动态感知奖励函数在偏好基础增强学习中的应用，显著提高了采样效率和策略学习速度。在多种机器人任务中，使用50个偏好标签的性能与500个标签相当，并恢复了较高的真实奖励策略性能。此外，提出了通过人机交互和自训练方法来优化奖励模型，克服了偏好强化学习中的挑战，提升了学习效率和鲁棒性。
延伸解读
动态感知奖励函数如何提升采样效率
文章指出，动态感知奖励函数通过迭代学习状态-行动表示，并从中引导基于偏好的奖励函数，使采样效率提高一个数量级。在四足行走等任务中，仅用50个偏好标签就达到现有方法500个标签的性能，并恢复83%和66%的真实奖励策略性能，而基线方法仅38%和21%。这表明明确学习动态感知奖励模型能显著减少对偏好标签的依赖。
克服偏好强化学习中的相似陷阱
针对偏好强化学习中的相似陷阱问题，文章引入对等正则化的自训练方法，并以不同的半监督替代方法学习多种运动和机器人操作行为。这有助于避免策略陷入局部最优，提升学习效率和鲁棒性。该方法在有限反馈情况下表现优异，为偏好强化学习的实际应用提供了新思路。
RIME算法：从嘈杂偏好中鲁棒学习
RIME算法通过基于样本选择的鉴别器动态过滤去噪偏好，并采用热启动奖励模型来减轻错误选择引起的积累误差。在机器人操作和运动任务上，RIME显著提高了当前最先进PbRL方法的鲁棒性。消融研究进一步证明，热启动对于有限反馈情况下的鲁棒性和反馈效率都至关重要。
数据驱动奖励初始化减少性能变异性
文章研究了基于偏好的强化学习中初始奖励模型的高度变异性问题，并提出一种数据驱动的奖励初始化方法。该方法不增加人在环中的额外成本，仅对PbRL代理造成可忽略的成本。通过该方法初始化的奖励模型在状态空间中均匀分布，减少了多次运行中方法性能的变异性，并相对于其它初始方法提高了整体性能。
Q&A
动态感知奖励函数如何提高偏好基础增强学习的效率？
动态感知奖励函数通过从代理行为的二进制反馈中学习，显著提高了采样效率和策略学习速度。
使用50个偏好标签的性能与500个标签相比如何？
在四足行走等任务中，使用50个偏好标签的性能与500个标签相当，并恢复了较高的真实奖励策略性能。
如何通过人机交互优化奖励模型？
通过主动查询教师偏好，学习奖励模型并使用其训练智能体，从而优化奖励模型。
RIME算法的主要优势是什么？
RIME算法通过动态过滤去噪偏好，提高了鲁棒性，尤其在有限反馈情况下表现优异。
如何克服偏好强化学习中的挑战？
通过引入对等正则化的自训练方法和状态增强技术，克服了偏好强化学习中的相似陷阱问题。
初始奖励模型的变异性问题如何解决？
提出了一种数据驱动的奖励初始化方法，减少了多次运行中方法性能的变异性。
