研究人员使用贝叶斯奖励模型来缓解奖励过度优化的问题。通过训练贝叶斯奖励模型，在离训练数据分布较远的位置发出更高的不确定性信号，减少错误的奖励选择。使用 Laplace-LoRA 训练的贝叶斯奖励模型成功缓解了最佳 n 采样中的奖励过度优化问题。

本研究通过引入变分信息瓶颈目标以解决强化学习中奖励建模的问题，并提出了一种用于检测奖励过度优化的指标ICDS。实验证明了InfoRM的有效性，显示其奖励过度优化检测机制的有效性，可能标志着RLHF领域的进步。