RIME：基于噪声偏好的鲁棒化基于优先级的强化学习
内容提要
本文综述基于偏好的强化学习（PbRL）的多项进展：提出数据驱动奖励初始化以降低性能波动；利用状态增强和二元反馈改进奖励学习；实现零样本跨任务偏好迁移；构建B-Pref基准；DIP-RL借助人类示范引导Minecraft任务；RP1将基于模型的强化学习视为主动学习；OPPO无需奖励函数建模离线偏好；PRIOR利用先验约束减少反馈；行动剪辑提升离线学习效率；并探讨多代理人机协作中PbRL的应用空白。
延伸解读
奖励初始化：降低性能波动的关键
文章指出，基于偏好的强化学习（PbRL）中初始奖励模型的高度变异性会导致多次运行性能不稳定。为此，研究者提出数据驱动的奖励初始化方法，在不增加人类反馈成本的前提下，使初始奖励模型在状态空间中均匀分布。这减少了性能波动，并提升了整体表现。对于实际应用，这意味着在部署PbRL时，应重视奖励模型的初始化策略，以提升训练稳定性和可复现性。
跨任务偏好迁移与零样本学习
文章介绍了一种零样本PbRL算法，利用源任务的标注偏好数据推断目标任务的标注数据，并通过Gromov-Wasserstein距离对齐轨迹分布，结合Robust Preference Transformer训练奖励和策略。该方法展示了在迁移学习环境下学习偏好以及从含噪偏好标签中学习奖励函数的能力。这为减少新任务中的人工标注成本提供了可能，但需注意其依赖源任务与目标任务的分布对齐效果。
离线PbRL的挑战与行动剪辑
文章提到，离线PbRL中直接应用两阶段学习方法存在挑战：第二阶段学到的效用模型可能过于复杂，难以优化。为此，作者提出行动剪辑，通过行为约束忽略数据集中未充分覆盖的状态-动作，以降低学习复杂度。该方法在机器人控制环境中验证了学习效率的提升。这提示我们，在离线设置下，数据覆盖不足会显著影响学习效果，需谨慎设计约束机制。
多智能体人机协作的空白
文章最后指出，PbRL在人机协作中已有显著进展，但主要集中在单智能体与观察者在环的场景。在多智能体强化学习框架下，人类积极参与并表达对代理行为偏好的应用仍属未知。这意味着，将PbRL扩展到多智能体协作场景，需要解决偏好表达、信用分配和协调等新问题，是未来值得探索的方向。
Q&A
基于偏好的强化学习中初始奖励模型变异性问题如何解决？
提出一种数据驱动的奖励初始化方法，不增加人在环中的额外成本，仅对PbRL代理造成可忽略成本。通过该方法初始化的奖励模型在状态空间中均匀，减少了多次运行中方法性能的变异性，并相对于其它初始方法提高了整体性能。
状态增强技术如何利用二元反馈改进奖励学习？
提出一种状态增强技术，利用二元反馈帮助人类进一步了解代理行为来学习奖励模型，为强化学习提供更好的支持。在Mountain Car、Quadruped-Walk和Sweep-Into三种任务领域中验证了其有效性。
零样本基于偏好的强化学习如何实现跨任务偏好迁移？
提出一种新颖的零样本PbRL算法，利用源任务的标注偏好数据推断目标任务的标注数据，然后利用Gromov-Wasserstein距离对齐源任务和目标任务的轨迹分布，并使用Robust Preference Transformer模型训练奖励函数和策略模型。结果表明该方法具有在迁移学习环境下学习偏好并能从含噪偏好标签学习奖励函数的能力。
B-Pref基准测试框架的作用是什么？
B-Pref是一个基于偏好的强化学习基准测试框架，使用一种新的评估指标，旨在衡量算法的性能和鲁棒性，从而更为系统地研究基于偏好的强化学习算法的设计选择和决策。
DIP-RL算法如何利用人类示范解决Minecraft任务？
DIP-RL利用人类示范以三种方式解决结构不清晰和开放性环境中的任务：训练一个自动编码器、使用示范数据种子强化学习训练批次、推断行为偏好以学习引导强化学习的奖励函数。在Minecraft砍树任务中评估，结果表明该算法可以引导强化学习代理学习到反映人类偏好的奖励函数，且性能相对于基准算法有竞争力。
OPPO如何实现离线基于偏好的强化学习？
OPPO（离线偏好指导策略优化）通过一步过程模型化离线轨迹和人类偏好，不需要单独学习奖励函数，成功地模拟了离线偏好并胜过了竞争基线。
PRIOR框架如何利用先验知识减少反馈数量？
PRIOR框架利用先验知识和偏好数据约束奖励函数，可以降低50%的反馈数量并提高奖励函数学习和代理性能。
行动剪辑如何提升离线基于偏好的强化学习效率？
行动剪辑通过行为约束实现两阶段学习方法，在第二阶段学习期间忽略数据集中未充分覆盖的状态-动作，以实现更高的学习效率。在各种机器人控制环境中验证了其较高的学习效率。
多代理人机协作中基于偏好的强化学习有哪些应用空白？
人机协作中基于偏好的强化学习在单个代理人和观察者在环路场景中取得了显著进展，但在人机合作的多代理强化学习框架中，人类积极参与并表达对代理行为偏好的应用仍然是未知的。
