本文综述了基于人类反馈的强化学习（RLHF）优化大语言模型的研究。针对过度优化问题，提出利用多样化LoRA集成量化奖励不确定性，并通过不确定性正则化优化策略。同时介绍了RRHF排名损失、轨迹对采样和迭代在线训练等方法，以提升模型与人类偏好的一致性。