UsubeniFantasy
·
小猫都能懂的大模型原理 5 - 后训练
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
本文介绍了大语言模型的基本原理，重点讲述了监督微调（SFT）和强化学习（RLHF）在训练过程中的作用。通过人类反馈优化生成内容，提高与人类偏好的契合度，微调可降低成本并提升特定领域的效果。
🎯
关键要点
- 本文介绍了大语言模型的基本原理，重点讲述了监督微调（SFT）和强化学习（RLHF）的作用。
- GPT 训练后需要通过后训练才能与用户流畅对话，chatGPT 是在 GPT 基础上进行的聊天后训练。
- SFT（监督式微调）通过整理数据、调整超参数来优化对话训练素材，提高模型的表现。
- 微调的好处是成本低，不需要从头训练模型，能在特定领域获得良好效果。
- RLHF（基于人类反馈的强化学习）通过人类偏好信号来调整模型，使其更符合人类期望。
- RLHF 的训练过程包括自我生成、裁判打分和参数更新，利用奖励模型来优化生成内容。
- 有些替代品如 DPO、IPO、ORPO 直接用人类偏好数据训练，目标是让模型更符合人类喜欢的回答方式。
- Reasoning 的实现可以通过鼓励模型逐步解题，使用特定标签来标识思考过程和答案。
- Deepseek 论文提出通过固定判断逻辑对输出结果评分，节省传统 RLHF 的奖励模型成本。
- 模型通过长时间思考提高正确答案的概率，最终产生“涌现”现象。
❓
延伸问答
什么是监督微调（SFT）？
监督微调（SFT）是通过整理数据和调整超参数来优化对话训练素材，提高模型表现的过程。
强化学习（RLHF）如何改善模型的输出？
强化学习（RLHF）通过人类偏好信号调整模型，使其生成更符合人类期望的回答。
微调模型的好处是什么？
微调模型的好处包括成本低，不需要从头训练模型，并能在特定领域获得良好效果。
RLHF的训练过程包括哪些步骤？
RLHF的训练过程包括自我生成、裁判打分和参数更新三个步骤。
什么是Reasoning在模型训练中的作用？
Reasoning通过鼓励模型逐步解题，帮助其提高正确答案的概率，并产生更复杂的思考过程。
有哪些替代RLHF的训练方法？
替代RLHF的训练方法包括DPO、IPO、ORPO等，它们直接用人类偏好数据训练，不再显式训练奖励模型。
➡️
