正则化的最佳 N 抽样以减轻语言模型对齐中的奖励欺骗
内容提要
本文探讨了大型语言模型中的奖励模型优化问题，提出了贝叶斯奖励模型和DPO算法，以提升模型的稳定性和性能。研究表明，合成偏好数据和对比学习策略能够有效改善奖励模型质量，解决奖励过度优化和对齐问题，为强化学习提供新思路。
延伸解读
奖励欺骗的成因与缓解思路
文章指出，奖励模型在人类偏好数据上微调后，容易因过度优化或黑客攻击而失效，即高奖励回复可能源于模型错误而非真实偏好。贝叶斯奖励模型通过在高不确定性区域发出信号，可缓解最佳N采样中的奖励过度优化。这提示我们，单纯追求高奖励分数并不可靠，需关注模型的不确定性估计。
合成偏好数据提升奖励模型质量
文章提到，通过生成合成偏好数据，可以基于策略生成高质量的偏好对，从而扩充训练数据集。实验证明，该方法能改善任何奖励模型的性能，效果与添加相似数量的人类偏好数据相当。这为降低对昂贵人工标注的依赖提供了新思路，但需注意合成数据的质量与多样性。
DPO算法：更简单稳定的对齐方法
文章介绍了DPO算法，用于解决无监督语言模型的可控性问题。实验表明，相较于传统的RLHF方法，DPO不仅表现更好，而且更加稳定和简单。这为语言模型对齐提供了一种有吸引力的替代方案，但文章未详细说明DPO在复杂场景下的泛化能力。
多属性对齐与奖励转换的选择
文章探讨了奖励模型的单调转换和多个属性的对齐问题。通过Bradley-Terry偏好模型的概率解释，确定了一种自然的转换选择，该转换强调改进表现较差的输出，并减轻欠拟合和奖励欺骗。同时，转换后的奖励求和对应于所有属性都“好”的概率，实现了有原则的聚合。这为多目标对齐提供了理论指导。
Q&A
如何确保大型语言模型的回复既有用又无毒？
通过在人类偏好数据上对奖励模型进行微调，选择具有高奖励的策略回复，或进一步优化策略以生成高奖励的回复。
贝叶斯奖励模型如何缓解奖励过度优化的问题？
贝叶斯奖励模型可以在离训练数据分布较远的位置发出更高的不确定性信号，从而减轻奖励过度优化的影响。
DPO算法与传统的RLHF方法相比有什么优势？
DPO算法在无监督语言模型中表现更好且更稳定，相较于传统的RLHF方法更简单。
合成偏好数据如何改善奖励模型的质量？
通过生成合成偏好数据，可以有效改善奖励模型的质量，解决奖励模型建模挑战，效果与添加相似数量的人类偏好数据相当。
在强化学习中，如何检测奖励过度优化？
通过引入Integrated Cluster Deviation Score (ICDS)指标，可以检测奖励过度优化，从而促进在线减缓策略的发展。
如何将语言模型与多个属性对齐？
可以通过组合多个奖励模型，并使用与Bradley-Terry偏好模型学习的概率解释对齐过程，来实现语言模型与多个属性的对齐。
