该文综述大语言模型的人类反馈对齐方法：离线强化学习比在线RL更稳定高效；RLAIF与RLHF效果相当，可缓解人工标注瓶颈；线性对齐、DPO、RRHF等算法简化训练并提升性能；Diffusion-DPO将偏好优化扩展至扩散模型；OAP提升离线评估；差分隐私实现隐私保护对齐。

该文综述大语言模型隐私保护与人类反馈对齐研究，涵盖强化学习结合差分隐私实现隐私保护对齐、离线强化学习提升训练稳定性、奖励模型改善机器翻译、弹性复位微调减少语言漂移、RAIN自评倒带机制无需训练即可对齐、线性对齐一次推理完成偏好对齐，以及ReST、RRHF等方法提升效率与效果。