回归基础：重新评估 LLMs 中学习人类反馈的 REINFORCE 样式优化
内容提要
本文综述大语言模型与人类对齐的关键技术，重点分析RLHF及PPO算法，并提出PPO-max、APA、RRHF、PRO、SuperHF、Hydra-RLHF、PO-RLHF等改进方法，通过排名损失、优势估计、LoRA动态调整等提升训练稳定性与对齐效果，减少人类反馈需求，性能可比ChatGPT。
延伸解读
从PPO到多种改进：RLHF优化路径
文章梳理了RLHF中PPO算法的不足，并介绍了PPO-max、APA、RRHF、PRO、SuperHF、Hydra-RLHF、PO-RLHF等改进方法。这些方法分别从训练稳定性、样本效率、人类反馈需求等角度优化，例如APA利用优势估计避免模式崩溃，RRHF通过排名损失减少模型数量，Hydra-RLHF动态调整LoRA以节省内存。读者可借此了解RLHF技术演进的多条路径。
减少人类反馈依赖的技术趋势
多个改进方法致力于降低对人类反馈的依赖。RRHF仅需1到2个模型调整，PRO利用偏好排名直接优化概率排名，PO-RLHF通过轨迹比较反馈推断奖励函数，理论证明少量反馈即可获得良好性能。这些工作表明，高效利用有限人类反馈是RLHF发展的重要方向，有助于降低对齐成本并提升可扩展性。
性能对标ChatGPT与评估多样性
文章提到PRO等方法的实验评估采用了自动化、奖励模型、GPT-4和人类评估等多种方式，结果达到与ChatGPT和人类响应相当的水平。这提示读者，RLHF改进方法不仅在训练稳定性上有所提升，其最终对齐效果也需通过多维度评估验证。但需注意，这些结论基于特定实验设置，实际应用中的表现可能因任务和数据而异。
Q&A
RLHF 中 PPO 算法有哪些改进方法？
文章提出了 PPO-max、APA、RRHF、PRO、SuperHF、Hydra-RLHF、PO-RLHF 等改进方法，通过排名损失、优势估计、LoRA 动态调整等提升训练稳定性与对齐效果。
PPO-max 是如何提高训练稳定性的？
PPO-max 是 PPO 的增强版本，通过调整影响策略代理训练的部件来提高策略模型的训练稳定性。
APA 算法相比 PPO 有什么优势？
APA 利用估计的优势建立基于平方误差损失函数的算法进行优化，在使用单独的奖励模型作为评估器时明显优于 PPO，并且能更稳定地控制模型初始策略与改进性能，避免模式崩溃、不稳定性和样本效率低等问题。
RRHF 如何将语言模型与人类偏好对齐？
RRHF 通过排名损失函数对生成的回答进行评分，从而有效地将语言模型输出与人类偏好对齐，且只需要 1 到 2 个模型进行调整，效果与微调相当。
PRO 策略在语言模型对齐中的表现如何？
PRO 通过将人类偏好排名直接应用于语言模型生成的响应的概率排名，实现与人类价值观的对齐。研究结果表明，PRO 优于现有的对齐算法，并通过自动化、奖励、GPT-4 和人类评估达到与 ChatGPT 和人类响应相当的结果。
Hydra-RLHF 如何减少内存使用？
Hydra-RLHF 集成了监督微调（SFT）和奖励模型，并在训练过程中动态关闭 LoRA，从而减少内存使用并提高跨基准的对齐效果。
PO-RLHF 算法的主要创新点是什么？
PO-RLHF 不假设对奖励函数有先验知识，通过基于轨迹的比较反馈来推断奖励函数，并采用轨迹级椭圆势分析技术来推断比较查询下的奖励函数参数，而非使用奖励观测。
