WARM: 关于加权平均奖励模型的好处
内容提要
该文综述大语言模型对齐与强化学习研究：用约束强化学习缓解复合奖励过度优化并学习动态权重；检查点平均化提升模型质量；MORE自适应调整偏好目标以改进奖励建模；过程监督提升简单推理但降低复杂任务表现；RAIN借助自评与倒带实现无需训练的对齐；Themis引入工具增强偏好建模；此外还有分布式梯度合并、循环加权平均模型，以及多奖励模型投票、对比与元学习等迭代优化方法。
延伸解读
奖励模型优化的两条路径：约束与自适应
文章提到两类缓解奖励过度优化的思路：一是用约束强化学习处理复合奖励模型中的过度优化，并学习动态权重；二是MORE通过自适应调整偏好目标来捕捉不同偏好数据集中的共享人类价值观。前者侧重在优化过程中施加约束，后者侧重在训练目标层面适应数据差异，两者都指向同一问题：静态奖励目标难以兼顾多样偏好。
过程监督并非总是更优
文章指出，基于过程监督的奖励模型能提高简单数学推理的准确性，却意外降低了复杂任务的表现。这说明细粒度奖励并非普遍适用，奖励聚合函数在模型性能中起关键作用。读者应注意，过程监督的效果取决于任务复杂度和奖励聚合方式，不能简单认为过程监督一定优于结果监督。
无需训练的对齐与工具增强
RAIN通过自评和倒带机制，让未对齐的LLM无需额外数据、训练或参数更新即可生成符合人类偏好的回答，并改善了LLaMA 30B的无害率。Themis则让奖励模型与计算器、搜索引擎等外部环境交互，在偏好排序任务上取得17.7%的改进。两者分别从推理机制和外部工具角度提升对齐效果，但文章未说明其通用性边界。
多奖励模型与迭代优化
文章提到用多个奖励模型进行数据评估和投票，以消除错误和模糊偏好的影响，并引入对比学习和元学习增强奖励模型的区分与泛化能力。此外还有分布式梯度合并、循环加权平均模型等方法。这些方案共同表明，单一奖励模型难以覆盖复杂偏好，组合与迭代是常见思路，但各方法的适用场景和代价文章未展开。
Q&A
复合奖励模型过度优化问题怎么解决？
可以使用约束强化学习方法，同时学习动态权重来改善评估性能，并自适应地识别和优化评估阈值点。
检查点平均化对大型语言模型有什么好处？
检查点平均化能在不增加额外训练或推理成本的前提下，缩短训练时间，并提高测试性能和零样本泛化能力。
MORE方法如何改进奖励建模？
MORE通过自适应调整偏好目标来捕捉不同偏好中的共享人类价值观，实验证明在奖励准确性和校准误差方面优于其他方法。
过程监督奖励模型对推理任务效果如何？
基于过程监督的方法可以提高简单数学推理的准确性，但意外地降低了复杂任务的表现，说明奖励聚合函数起关键作用，需进一步研究细粒度奖励模型。
RAIN如何实现无需训练的对齐？
RAIN整合自评和倒带机制，让未对齐的LLM评估自身生成，并利用评估结果进行倒带回溯和前向生成，无需额外数据、训练、梯度计算或参数更新。
Themis工具增强偏好建模有什么效果？
Themis赋予奖励模型与计算器、搜索引擎等外部环境交互的能力，增强了解释性和评分可靠性，在偏好排序任务上提升17.7%，在TruthfulQA上无需训练即比Gopher 280B高7.3%。
