提高基于人类反馈的强化学习效果的高效奖励模型集成
内容提要
本文综述了基于人类反馈的强化学习（RLHF）优化大语言模型的研究。针对过度优化问题，提出利用多样化LoRA集成量化奖励不确定性，并通过不确定性正则化优化策略。同时介绍了RRHF排名损失、轨迹对采样和迭代在线训练等方法，以提升模型与人类偏好的一致性。
延伸解读
过度优化：RLHF 的核心挑战
文章指出，RLHF 中一个显著挑战是过度优化：当追求更高奖励超过某个阈值后，人类偏好反而下降。为缓解此问题，作者检视了常用 KL 正则化的弱点，并提出利用多样化 LoRA 集成量化奖励不确定性，再通过不确定性正则化优化策略。实验基于两个真实人类偏好数据集，显示该方法能有效量化奖励不确定性，并减轻过度优化，提升整体性能。
多样化 LoRA 集成如何量化不确定性
为增强奖励模型的不确定性量化能力，作者提出多样化的低秩适应（LoRA）集成方法，通过最大化 LoRA 矩阵串联的核范数来实现。然后利用该集成提供的奖励和不确定性来优化策略模型。这种方法不同于单一奖励模型，能更全面地评估数据中的错误和模糊偏好，为后续策略优化提供更可靠的信号。
RRHF 与轨迹对采样：替代性对齐方法
文章介绍了 RRHF 这一新学习范式，它通过排名损失函数对生成回答评分，从而将语言模型输出与人类偏好对齐，且只需调整 1 到 2 个模型，效果与微调相当。此外，一种有效的轨迹对采样方法被提出，用于探索隐藏奖励函数，在收集人类反馈前准确学习，比现有文献需要更少的人类反馈量来学习基于偏好模型的最优策略，可考虑线性和低秩 MDP。
迭代在线训练与数据效率
文章提到，通过迭代在线模式训练，每周使用新的人类反馈数据更新偏好模型和强化学习策略，能有效改进数据集和模型。同时，研究使用自然语言反馈模型的数据效率，通过对 ChatGPT、BARD 和 Vicuna 等模型的反馈逐渐改进，提高了响应质量。这些方法强调持续学习和数据效率，为 RLHF 的实用化提供了路径。
Q&A
RLHF中的过度优化问题是什么？
过度优化是指在RLHF中，当追求更高的奖励超过某个阈值后，反而导致人类偏好下降的现象。
如何量化奖励模型的不确定性？
通过多样化的低秩适应（LoRA）集成方法，最大化LoRA矩阵串联的核范数，从而量化奖励不确定性。
UP-RLHF中的不确定性正则化有什么作用？
不确定性正则化在减轻过度优化方面起到关键作用，从而提高整体性能。
RRHF是什么？它有什么特点？
RRHF是一种新的学习范式，通过排名损失函数对生成的回答进行评分，从而有效地将语言模型输出与人类偏好对齐，而且只需要1到2个模型进行调整，效果与微调相当。
轨迹对采样方法在RLHF中有什么优势？
轨迹对采样方法用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习，比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略。
迭代在线训练如何改进RLHF模型？
通过迭代在线模式的训练，每周使用新的人类反馈数据更新偏好模型和强化学习策略，有效改进了数据集和模型。
