本文综述RLHF中奖励模型过度优化与奖励欺骗问题，提出迭代数据平滑、动态权重、长度解耦、集合保守优化及过程监督等方法，并引入对比学习、元学习和结构风险最小化，以提升奖励模型区分度、泛化能力与语言模型可靠性。