本文介绍RLHF及其变体DPO、GRPO，旨在解决SFT无法表达相对偏好的问题。SFT仅最大化单一参考答案似然，无法区分多个合理回答的优劣。RLHF通过奖励模型和KL约束优化策略，但存在奖励过优化、对齐税等风险。DPO省去显式奖励模型和在线采样，GRPO在可验证奖励场景下省去critic。三者各有适用场景，对齐税是工程问题也是结构性风险。

DPO通过数学推导，从KL正则的RLHF目标中反解出隐式奖励，无需显式奖励模型和在线采样，直接用离线偏好数据训练语言模型。其损失函数基于Bradley-Terry模型，通过推高胜者、压低败者的log-ratio来优化策略。DPO工程复杂度低，但受限于离线数据，存在分布漂移和长度偏置风险，β参数控制KL正则强度。

后训练是调整预训练模型以实现特定目标的方法，包括预训练、监督微调、奖励建模、策略优化和评测。风格对齐关注表达方式，能力激发关注任务成功率。RLHF通过人类偏好优化助手行为，DPO简化为离线分类损失，RLVR通过可验证奖励提升推理能力。

本文介绍经典PPO-RLHF训练流程：以SFT模型为初始策略，通过奖励模型打分、参考模型计算KL惩罚、价值模型估计优势，用PPO更新策略。强调KL约束防止奖励黑客，需动态调整系数，并指出该路线成本高，后被DPO、GRPO等方法部分替代。

大模型训练应视为流水线，分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战，数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性，中训通过调整数据配比提升能力，微调教会模型理解指令，对齐阶段则使用多种算法优化模型表现。整体训练过程复杂，需关注数据、算力和工程细节。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究分析了噪声标签对离线对齐的影响，探讨了隐私与抗对抗破坏之间的互动，发现局部差分隐私在遭受破坏时面临更大挑战，推动了相关理论的发展。

本研究提出了一种新的训练范式Pre-DPO，旨在提高直接偏好优化（DPO）的数据利用效率。通过使用指导参考模型，Pre-DPO显著提升了DPO和简单偏好优化（SimPO）的性能，无需外部模型或额外数据。

本文探讨了偏好数据在扩散模型训练过程中的关键作用，特别是在Diffusion-DPO及其后续适应中，针对少数样本对模型表现的负面影响，提出了一种新颖的自适应DPO方法。该方法通过引入一种少数样本意识的指标，优化了DPO损失函数，既提高了模型对多数标签的学习能力，又减轻了少数样本的负面影响，为图像生成任务的发展提供了新的训练思路。

本研究提出了InCo-DPO方法，解决了直接偏好优化中的离线数据质量和分布偏移问题。通过整合在线与离线数据，动态调整二者的平衡，实验结果表明该方法在多个基准测试中显著提升了模型性能。

本研究提出了一种平衡DPO方法，旨在解决文本到图像扩散模型在对齐多样化偏好方面的挑战。该方法通过对齐人类偏好、CLIP评分和美学质量等指标，显著提升了主要指标的表现，平均胜率分别提高了15%、7.1%和10.3%。

本研究解决了复合人工智能系统中组件对齐的问题，这些系统包含多个相互作用的部分如大型语言模型代理和外部工具。我们提出了一种新的系统级首选优化方法（SysDPO），通过将复合AI系统建模为有向无环图（DAG），有效应对传统方法的局限性。研究表明，该方法在对齐大型语言模型和扩散模型方面取得了显著效果，为复合人工智能系统的进一步发展奠定了基础。

本研究针对现有直接偏好优化方法在长链数学推理中的不足，提出了一种新颖的全步长DPO框架，能够利用整个推理链中的逐步奖励进行优化。通过训练自监督过程奖励模型，自动为每一步评分并避免对外部信号的依赖，研究结果显示全步长DPO在数学推理基准测试中表现优于现有的最佳方法，显著提升了语言模型的推理能力。

本研究针对文本到图像(T2I)系统中的对齐精度问题，提出了YinYangAlign这一先进的评估框架。该框架旨在量化T2I系统的对齐忠诚度，解决了六个基本且内在矛盾的设计目标，促进了对用户意图和创意修改之间的平衡，提高了生成图像的可靠性与一致性。

本研究提出了一种改进的H-DPO方法，解决了大型语言模型训练中直接偏好优化（DPO）无法有效捕捉参考分布模式的问题。实验结果表明，H-DPO在多个任务中优于DPO，尤其在数学任务中表现突出，显示出良好的应用潜力。

本研究探讨了直接偏好优化（DPO）在降低语言模型毒性方面的机制，发现DPO通过多个神经元群体的综合效应实现毒性降低，其中仅31.8%的降低源于被抑制的毒性神经元。