本文介绍RLHF及其变体DPO、GRPO，旨在解决SFT无法表达相对偏好的问题。SFT仅最大化单一参考答案似然，无法区分多个合理回答的优劣。RLHF通过奖励模型和KL约束优化策略，但存在奖励过优化、对齐税等风险。DPO省去显式奖励模型和在线采样，GRPO在可验证奖励场景下省去critic。三者各有适用场景，对齐税是工程问题也是结构性风险。

南京大学的研究揭示了工具使用智能体在开放世界中的泛化脆弱性，提出了四级分层偏移框架，分析了SFT和RL训练范式的结构性弱点，并提出PAFT方法，通过引入扰动增强微调，提升模型的鲁棒性和泛化能力。

后训练是一个复杂的数据流水线，包含多个阶段，如SFT、奖励模型和策略优化。每个阶段旨在将预训练模型转变为更符合人类指令和偏好的模型。SFT主要调整回答格式，奖励模型提供训练信号，策略优化提升生成候选的能力。评测确保模型的安全性和准确性，整体流程强调数据回流和持续优化，以提升模型性能和可靠性。

这篇文章讨论了监督微调（SFT）在语言模型训练中的重要性，强调数据质量、模板设计和损失函数的影响。SFT通过指令与回答对训练模型，确保模型能够有效生成助手回答。此外，SFT是后续强化学习（RLHF）的基础，强调样本去重、数据来源和模板一致性的重要性，以避免模型学习错误的行为模式。

大模型训练应视为流水线，分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战，数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性，中训通过调整数据配比提升能力，微调教会模型理解指令，对齐阶段则使用多种算法优化模型表现。整体训练过程复杂，需关注数据、算力和工程细节。

研究表明，在多模态大模型训练中，样本难度比训练范式更为重要。中兴通讯团队首次通过GRPO-only方法，在视觉推理和感知任务中超越传统的SFT+RL范式，提出了PISM和CMAB两种难度量化策略，显著提升了模型性能，验证了难度感知采样的有效性。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化用户的数据爬取流程。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，帮助用户轻松获取所需数据。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。