RLHF 中部分观测的奖励状态框架
内容提要
本文综述基于人类反馈的强化学习（RLHF）的原理与应用。研究提出轨迹对采样方法以减少人类反馈需求；针对过度优化问题，提出多样化LoRA奖励集成与不确定性正则化；采用多奖励模型投票消除偏好噪声，并引入对比与元学习增强泛化。HERON框架通过轨迹比较与决策树排序训练偏好奖励模型，降低人工成本，提升大语言模型与人类价值观的对齐效果。
延伸解读
减少人类反馈依赖的技术路径
文章指出，RLHF 面临人类反馈成本高的问题。为此，研究提出轨迹对采样方法，可在收集反馈前探索隐藏奖励函数，从而减少所需反馈量；同时，离线情境决斗机制算法在三个实际数据集上以较少偏好样本取得更好性能。这些方法从数据效率角度降低了 RLHF 的应用门槛。
缓解过度优化的不确定性方案
RLHF 存在过度优化挑战：奖励提升超过阈值后人类偏好反而下降。文章分析常用 KL 正则化的弱点，提出多样化 LoRA 奖励集成，通过最大化 LoRA 矩阵串联的核范数增强不确定性量化，并利用奖励和不确定性优化策略。实验表明，UP-RLHF 中的不确定性正则在减轻过度优化上起关键作用。
多奖励模型投票与泛化增强
针对偏好数据中的错误和模糊，文章采用多个奖励模型进行数据评估和投票以消除噪声，并引入对比学习和元学习增强奖励模型的区分与泛化能力，实现迭代优化。此外，多个大型语言模型的奖励集成也被用于提高 RLHF 输出与人类价值观的对齐性能。
HERON 框架的偏好建模创新
HERON 是一个新的强化学习框架，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型。该方法在处理复杂任务时减少了人工成本，同时提高了性能，为 RLHF 中偏好奖励模型的构建提供了可替代方案。
Q&A
RLHF 中过度优化问题是什么？如何缓解？
过度优化指在 RLHF 中，当奖励超过某个阈值后，继续追求更高奖励反而导致人类偏好下降。为缓解此问题，文章提出检视 KL 正则化的弱点，并采用多样化的低秩适应（LoRA）集成来增强奖励模型的不确定性量化能力，同时利用不确定性正则化（UP-RLHF）来减轻过度优化，从而提高整体性能。
HERON 框架是什么？它如何降低人工成本？
HERON 是一个新的强化学习框架，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型。它通过排列的方式学习奖励函数，在处理复杂任务时减少了人工成本，同时提高了性能。
如何减少 RLHF 中所需的人类反馈量？
文章提出了一种有效的轨迹对采样方法，用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习。该方法比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略，并且可以考虑线性和低秩 MDP。
RLHF 中如何处理偏好数据中的噪声和模糊性？
文章提出使用多个奖励模型进行数据评估和投票机制来消除数据中错误和模糊偏好的影响，并引入对比学习和元学习来增强奖励模型的区分能力和泛化能力，从而实现迭代优化。
RLHF 如何提升大型语言模型与人类价值观的对齐？
通过使用多个大型语言模型的奖励模型集成，可以提高 RLHF 输出的对齐性能。此外，通过学习人类偏好并优化策略，实现与人类偏好的协调，从而提升大型语言模型的性能。
基于偏好的强化学习能否直接应用现有算法？
是的，文章证明对于广泛的偏好模型，我们可以使用现有的算法和技术，直接解决基于偏好的强化学习问题，具有小的或没有额外成本。
