LLM 对齐的贝叶斯奖励模型
内容提要
本文综述基于人类反馈的强化学习（RLHF）中奖励模型的研究进展，涵盖分布偏移鲁棒性、偏好分歧建模、冗长性偏差、多偏好数据集融合、过度优化缓解及不确定性量化等问题，并提出d-PM、MORE、UP-RLHF等方法以提升对齐效果。
延伸解读
奖励模型面临的核心挑战
文章指出，奖励模型在RLHF中面临多个关键挑战：分布偏移会导致校准和准确率下降；人类偏好存在分歧，需要建模分歧分布；LLM评估时存在冗长性偏差，倾向于更长答案；混合不同偏好数据集可能失败；过度优化会使追求高奖励反而降低人类偏好；不确定性量化不足影响样本效率和鲁棒性。这些挑战相互关联，共同制约对齐效果。
方法创新与改进方向
针对上述挑战，文章综述了多种方法：d-PM采用贝叶斯框架建模偏好分歧，结合对比学习训练生成模型；MORE通过自适应调整偏好目标融合不同偏好数据集；UP-RLHF利用多样化LoRA集成量化奖励不确定性，并通过不确定性正则化缓解过度优化；此外还有多奖励模型投票、对比学习与元学习增强区分和泛化能力，以及约束强化学习动态调整权重等。
实践启示与局限
文章提到，利用其他LLM进行强化学习可替代人类反馈，但需注意评估偏差，如GPT-4更倾向长答案。集成主动学习并不比随机采样更有效，提示不确定性估计方法需谨慎选择。奖励模型可能利用人类评估者的简单启发式规则，影响泛化。这些发现提醒研究者和实践者，在应用RLHF时需关注奖励模型的鲁棒性、偏差和不确定性，而非单纯追求高奖励。
Q&A
什么是基于人类反馈的强化学习（RLHF）中的奖励模型？
奖励模型是RLHF中用于校准语言模型的关键组件，它通过人类反馈信号（如响应对的排名）来训练，以捕捉期望的行为，使大型语言模型的输出与人类期望对齐。
奖励模型在分布偏移下会出现什么问题？
奖励模型对分布偏移的鲁棒性不足，异常输入会导致校准和准确率下降。研究提出了在奖励模型中检测分布偏移的方法来应对这一问题。
d-PM方法是如何处理人类偏好分歧的？
d-PM采用贝叶斯框架来考虑人类偏好之间的分歧分布，并利用d-PM模型的偏好分数，通过对比学习策略训练自然语言生成模型，在自动评估和人工评估中均优于之前的最佳模型。
什么是冗长性偏差？如何度量？
冗长性偏差指LLMs有时倾向于提供更冗长的答案，即使质量相似。例如GPT-4更倾向于提供更长的答案。研究者提出了一种度量这种偏差的指标。
MORE方法如何提升奖励建模？
MORE是一种新的训练策略，通过自适应调整偏好目标来捕捉不同偏好中的共享人类价值观，从而在混合不同人类偏好数据集时提升奖励准确性和校准误差方面的表现。
RLHF中的过度优化问题是什么？如何缓解？
过度优化指在超过某个阈值后，追求更高的奖励会导致人类偏好的下降。缓解方法包括：检视KL正则化的弱点，提出多样化的低秩适应（LoRA）集成方法，通过最大化LoRA矩阵串联的核范数来增强奖励模型的不确定性量化能力，并利用奖励和不确定性优化策略模型（UP-RLHF）。
如何利用不确定性估计提高奖励模型的样本效率和鲁棒性？
研究提出利用打包聚合技术训练奖励模型，但结果显示集成主动学习并不比随机采样更有效。UP-RLHF中的不确定性正则化在减轻过度优化方面起到关键作用，从而提高整体性能。
