后训练是调整预训练模型以实现特定目标的方法，包括预训练、监督微调、奖励建模、策略优化和评测。风格对齐关注表达方式，能力激发关注任务成功率。RLHF通过人类偏好优化助手行为，DPO简化为离线分类损失，RLVR通过可验证奖励提升推理能力。

大模型训练应视为流水线，分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战，数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性，中训通过调整数据配比提升能力，微调教会模型理解指令，对齐阶段则使用多种算法优化模型表现。整体训练过程复杂，需关注数据、算力和工程细节。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究分析了噪声标签对离线对齐的影响，探讨了隐私与抗对抗破坏之间的互动，发现局部差分隐私在遭受破坏时面临更大挑战，推动了相关理论的发展。

本研究提出了一种新的训练范式Pre-DPO，旨在提高直接偏好优化（DPO）的数据利用效率。通过使用指导参考模型，Pre-DPO显著提升了DPO和简单偏好优化（SimPO）的性能，无需外部模型或额外数据。

本文探讨了偏好数据在扩散模型训练过程中的关键作用，特别是在Diffusion-DPO及其后续适应中，针对少数样本对模型表现的负面影响，提出了一种新颖的自适应DPO方法。该方法通过引入一种少数样本意识的指标，优化了DPO损失函数，既提高了模型对多数标签的学习能力，又减轻了少数样本的负面影响，为图像生成任务的发展提供了新的训练思路。

本研究提出了InCo-DPO方法，解决了直接偏好优化中的离线数据质量和分布偏移问题。通过整合在线与离线数据，动态调整二者的平衡，实验结果表明该方法在多个基准测试中显著提升了模型性能。

本研究提出了一种平衡DPO方法，旨在解决文本到图像扩散模型在对齐多样化偏好方面的挑战。该方法通过对齐人类偏好、CLIP评分和美学质量等指标，显著提升了主要指标的表现，平均胜率分别提高了15%、7.1%和10.3%。

本研究解决了复合人工智能系统中组件对齐的问题，这些系统包含多个相互作用的部分如大型语言模型代理和外部工具。我们提出了一种新的系统级首选优化方法（SysDPO），通过将复合AI系统建模为有向无环图（DAG），有效应对传统方法的局限性。研究表明，该方法在对齐大型语言模型和扩散模型方面取得了显著效果，为复合人工智能系统的进一步发展奠定了基础。

本研究针对现有直接偏好优化方法在长链数学推理中的不足，提出了一种新颖的全步长DPO框架，能够利用整个推理链中的逐步奖励进行优化。通过训练自监督过程奖励模型，自动为每一步评分并避免对外部信号的依赖，研究结果显示全步长DPO在数学推理基准测试中表现优于现有的最佳方法，显著提升了语言模型的推理能力。

本研究针对文本到图像(T2I)系统中的对齐精度问题，提出了YinYangAlign这一先进的评估框架。该框架旨在量化T2I系统的对齐忠诚度，解决了六个基本且内在矛盾的设计目标，促进了对用户意图和创意修改之间的平衡，提高了生成图像的可靠性与一致性。

本研究提出了一种改进的H-DPO方法，解决了大型语言模型训练中直接偏好优化（DPO）无法有效捕捉参考分布模式的问题。实验结果表明，H-DPO在多个任务中优于DPO，尤其在数学任务中表现突出，显示出良好的应用潜力。

本研究探讨了直接偏好优化（DPO）在降低语言模型毒性方面的机制，发现DPO通过多个神经元群体的综合效应实现毒性降低，其中仅31.8%的降低源于被抑制的毒性神经元。

该论文研究了视觉语言预训练模型中的对象幻觉问题，提出了ObjMLM损失函数以减少幻觉现象。通过HA-DPO和VTI等新技术，显著提高了模型性能，降低了幻觉率，增强了视觉特征的稳定性。实验结果显示，这些方法在多个指标上超越了基线，推动了视觉语言模型的发展。

本研究提出了一种新方法，通过在线学习“Flows”来微调大型语言模型（LLMs），显著提升数学推理任务的性能，采用在线直接偏好优化（DPO）学习。

本文提出了一种统一微调（UFT）方法，将序列化应用中的SFT与对齐整合为单一训练阶段，使用相同的目标和损失函数。实验结果表明，UFT在指令调优数据上优于SFT，显著减少了灾难性遗忘，并提升了指令执行和真实性任务的表现。