基于先验约束的奖励模型训练方法用于对齐大型语言模型
内容提要
分布偏好奖励模型（DPRM）通过结合整体和特定奖励，提升大型语言模型与人类偏好的对齐。ALaRM框架增强模型一致性，解决对齐方法的局限性。研究提出贝叶斯奖励模型以缓解奖励过度优化问题，并通过新方法ELLm利用背景知识改善智能体行为。实验表明，这些方法在生成质量和推理能力上表现优异。
延伸解读
分层奖励建模：从整体到细粒度
ALaRM框架首次在强化学习中模拟分层奖励，将整体奖励与特定方面的奖励结合。这种方法在长篇问答和机器翻译任务中，通过gpt-3.5-turbo的成对比较验证了其有效性。分层设计使模型在复杂开放生成任务中能更准确地对齐人类偏好，为奖励模型设计提供了新思路。
贝叶斯奖励模型：缓解奖励过度优化
奖励过度优化是RLHF中的常见问题，即模型利用奖励模型的错误获得高奖励而非真实偏好。贝叶斯奖励模型通过Laplace-LoRA训练，能在远离训练数据分布时发出更高不确定性信号，从而在最佳n采样中有效缓解该问题，提升生成回复的可靠性。
过程监督的局限与细粒度奖励需求
基于过程监督的奖励模型在简单数学推理中能提升准确性，但在复杂任务中表现反而下降。这表明奖励聚合函数对性能至关重要，且单一监督方式难以应对所有场景。研究强调需进一步开发细粒度奖励模型，以提高语言模型在复杂推理中的可靠性。
偏好数据混合的挑战与MORE策略
简单混合不同人类偏好数据集以增加数据量的方法可能失败，因为不同偏好间存在冲突。MORE训练策略通过自适应调整偏好目标，捕捉不同偏好中的共享人类价值观，在奖励准确性和校准误差上优于其他方法，为多源偏好对齐提供了有效方案。
Q&A
分布偏好奖励模型（DPRM）有什么作用？
DPRM通过将大型语言模型与多样化的人类偏好对齐，提高对人群偏好的代表性。
ALaRM框架的主要特点是什么？
ALaRM是第一个模拟强化学习中的分层奖励的框架，旨在增强大型语言模型与人类偏好的一致性。
贝叶斯奖励模型如何解决奖励过度优化问题？
贝叶斯奖励模型通过训练发出更高的不确定性信号，缓解奖励过度优化问题。
ELLm方法的主要优势是什么？
ELLm方法利用背景知识改善智能体行为，在多个任务中表现优异。
MORE训练策略的目的是什么？
MORE训练策略通过自适应调整偏好目标，捕捉不同偏好中的共享人类价值观，提升奖励准确性。
基于过程监督的奖励模型在推理能力上表现如何？
基于过程监督的奖励模型在简单数学推理中表现良好，但在复杂任务中表现下降。
