ICML 2024 Oral | DPO是否比PPO更适合LLM，清华吴翼团队最新揭秘
内容提要
吴翼团队通过使用PPO算法和开源模型，在代码生成任务中超过了闭源大模型AlphaCode 41B。研究团队还探讨了DPO和PPO算法的特点，并提出了提升算法效果的关键点。吴翼团队在强化学习和大模型结合方面的其他研究成果也被介绍。开源工作和论文的出现将降低实验成本和开发难度。
延伸解读
DPO的局限与改进方向
文章指出，DPO使用离线数据训练，可能导致模型对训练分布外的输出产生偏好，生成不可预料的回复。为提升DPO效果，研究团队总结了两项关键技术：在RLHF前进行额外SFT训练，使base和reference模型更贴近数据分布；以及使用在线采样数据进行迭代训练。实验表明，这些方法能显著提升DPO性能，在线迭代DPO表现远优于基础DPO。
PPO成功的关键要素
论文总结了发挥PPO最大能力的三个关键点：使用大批大小、优势归一化，以及对reference model采用指数移动平均更新。基于这些技巧，团队在对话任务Safe-RLHF/HH-RLHF和代码生成任务APPS/CodeContest上达到SOTA。在代码生成中，PPO训练的CodeLlama 34B甚至超越了AlphaCode 41B，展示了PPO在复杂任务上的潜力。
高效训练系统的支撑作用
实现大规模RLHF训练离不开高效的系统支持。吴翼团队自2021年起搭建分布式强化学习框架，先后开源了MAPPO、SRL和ReaLHF等系统。其中ReaLHF针对RLHF场景优化，在128块A100 GPU上能稳定快速训练，具有近乎线性的扩展性和更高资源利用率。这些系统为PPO等复杂算法的实验提供了基础，降低了学术界的实验门槛。
Q&A
吴翼团队在代码生成任务中使用了哪种算法超过了AlphaCode 41B？
吴翼团队使用PPO算法和开源模型在代码生成任务中超过了闭源大模型AlphaCode 41B。
DPO算法的主要局限性是什么？
DPO算法的局限性在于使用离线数据训练，可能导致不可预料的回复。
PPO算法在训练中有哪些关键点？
PPO算法的关键点包括使用大批大小、优势归一化和指数移动平均更新。
吴翼团队的研究如何促进大模型对齐技术的发展？
吴翼团队的开源工作和论文将降低实验成本和开发难度，促进技术发展。
在ICML 2024上，吴翼团队的研究成果将如何展示？
吴翼团队的研究成果将在ICML 2024的第一个口头报告会上进行公开汇报。
如何提升DPO算法的效果？
提升DPO算法能力的关键技术包括额外的SFT训练和使用在线采样数据。
