从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码
原文中文，约42500字，阅读约需102分钟。
📝
内容提要
本文介绍了DeepSpeed Chat中phase3的训练过程，包括使用RLHF Finetuning进行经验采集，对prompt进行flip翻转操作以避免不合理的生成，以及RM模型对对话评分的处理策略。同时，文章还介绍了模型的初始化和经验数据的获取过程。
🎯
关键要点
-
本文介绍了DeepSpeed Chat中phase3的训练过程。
-
使用RLHF Finetuning进行经验采集。
-
对prompt进行flip翻转操作以避免不合理的生成。
-
RM模型对对话评分的处理策略。
-
模型的初始化和经验数据的获取过程。
-
DeepSpeed Chat采用三阶段训练方式，分别为phase1、phase2、phase3。
-
phase1为监督微调，使用困惑度perplexity作为评估指标。
-
phase2为奖励模型微调，使用排序损失对数据对进行训练。
-
phase3为RLHF微调，使用DeepSpeedRLHFEngine进行模型初始化。
-
在phase3中，prompt需要进行翻转和填充以适应自回归生成。
-
经验数据的获取过程包括生成对话序列和计算奖励。
-
使用KL散度惩罚和优势函数来优化策略。
-
PPO训练过程中，actor和critic模型的损失计算方法。
-
无监督训练与RLHF训练相结合，以保持模型的生成能力。
-
DeepSpeed-Chat团队鼓励用户尝试不同的超参数设置。
🏷️
