ICML 2024 Oral | DPO是否比PPO更适合LLM，清华吴翼团队最新揭秘

吴翼团队使用PPO算法和开源模型在代码生成任务中超过了闭源大模型AlphaCode 41B。

研究团队探讨了DPO和PPO算法的特点，并提出了提升算法效果的关键点。

大模型对齐技术是实现超级智能的关键技术挑战。

RLHF是对齐技术中最重要的算法框架，强调人类反馈的重要性。

PPO算法流程复杂且算力消耗大，学术界普遍使用更简化的对齐算法。

吴翼团队的研究首次采用PPO算法及开源模型在代码生成任务中取得突破。

DPO算法的局限性在于使用离线数据训练，可能导致不可预料的回复。

提升DPO算法能力的关键技术包括额外的SFT训练和使用在线采样数据。

PPO算法的关键点包括使用大批大小、优势归一化和指数移动平均更新。

吴翼团队在对话任务和代码生成任务上达到了SOTA效果。

高效率的训练系统是实现大模型对齐的必要条件，团队有长期积累。

吴翼团队结合强化学习与大模型实现了多种复杂的LLM Agent。

开源工作和论文将降低实验成本和开发难度，促进技术发展。