UsubeniFantasy
·
小猫都能懂的大模型原理 5 - 后训练
内容提要
本文介绍了大语言模型的基本原理，重点讲述了监督微调（SFT）和强化学习（RLHF）在训练过程中的作用。通过人类反馈优化生成内容，提高与人类偏好的契合度，微调可降低成本并提升特定领域的效果。
关键要点
-
本文介绍了大语言模型的基本原理，重点讲述了监督微调（SFT）和强化学习（RLHF）的作用。
-
GPT 训练后需要通过后训练才能与用户流畅对话，chatGPT 是在 GPT 基础上进行的聊天后训练。
-
SFT（监督式微调）通过整理数据、调整超参数来优化对话训练素材，提高模型的表现。
-
微调的好处是成本低，不需要从头训练模型，能在特定领域获得良好效果。
-
RLHF（基于人类反馈的强化学习）通过人类偏好信号来调整模型，使其更符合人类期望。
-
RLHF 的训练过程包括自我生成、裁判打分和参数更新，利用奖励模型来优化生成内容。
-
有些替代品如 DPO、IPO、ORPO 直接用人类偏好数据训练，目标是让模型更符合人类喜欢的回答方式。
-
Reasoning 的实现可以通过鼓励模型逐步解题，使用特定标签来标识思考过程和答案。
-
Deepseek 论文提出通过固定判断逻辑对输出结果评分，节省传统 RLHF 的奖励模型成本。
-
模型通过长时间思考提高正确答案的概率，最终产生“涌现”现象。
延伸解读
微调的重要性
监督微调（SFT）和强化学习（RLHF）是提升大语言模型性能的关键步骤。SFT通过整理数据和调整超参数，能够在特定领域内显著提高模型的表现，而RLHF则通过人类反馈优化生成内容，使模型更符合人类的期望。这两者结合，能够有效降低训练成本，提升模型的实用性。
RLHF的替代方案
随着技术的发展，出现了多种不依赖传统RLHF的替代方案，如DPO、IPO和ORPO。这些方法直接利用人类偏好数据进行训练，省去了训练奖励模型的复杂过程，目标依然是让模型生成更符合人类喜好的回答。这些替代方案可能在效率和成本上具有优势，值得关注。
Reasoning的实现
在大语言模型中，Reasoning的实现可以通过逐步解题的方式来增强模型的思考能力。通过特定标签标识思考过程，模型能够在生成答案时进行更深入的分析。这种方法不仅提高了答案的准确性，还可能导致模型在思考过程中产生意外的“涌现”现象，展现出更复杂的推理能力。
延伸问答
什么是监督微调（SFT）？
监督微调（SFT）是通过整理数据和调整超参数来优化对话训练素材，提高模型表现的过程。
强化学习（RLHF）如何改善模型的输出？
强化学习（RLHF）通过人类偏好信号调整模型，使其生成更符合人类期望的回答。
微调模型的好处是什么？
微调模型的好处包括成本低，不需要从头训练模型，并能在特定领域获得良好效果。
RLHF的训练过程包括哪些步骤？
RLHF的训练过程包括自我生成、裁判打分和参数更新三个步骤。
什么是Reasoning在模型训练中的作用？
Reasoning通过鼓励模型逐步解题，帮助其提高正确答案的概率，并产生更复杂的思考过程。
有哪些替代RLHF的训练方法？
替代RLHF的训练方法包括DPO、IPO、ORPO等，它们直接用人类偏好数据训练，不再显式训练奖励模型。
