本文综述基于人类反馈的强化学习（RLHF）的原理与应用：RRHF通过排名损失使语言模型输出与人类偏好对齐；HERON用决策树训练偏好奖励模型；研究评估奖励模型对分布偏移的鲁棒性，提出KL散度平方根与奖励的近似线性关系，并探讨奖励、策略与评估模型间的目标不匹配问题；Fine-Grained RLHF框架可对长文本提供细化反馈，减少虚假、有毒输出。