本文提出了一种基于比较oracle的新偏好对齐方法，旨在解决现有方法在语言模型与人类偏好对齐中的冗长性和可能性偏移问题。实验结果表明，该方法在利用噪声偏好提升语言模型性能方面具有有效性和灵活性。

本研究分析了现有偏好对齐方法在大型语言模型中的局限性，尤其是对高质量正偏好数据集的依赖。提出了“遗忘以对齐”框架，通过双层优化量化负例遗忘对偏好对齐性能的影响，并通过实验验证了其有效性。

本研究提出了一种新的后训练偏好对齐方法，旨在缩小多智能体运动生成模型与人类偏好之间的差距。通过利用先前训练示范中的隐式反馈，显著提高了生成行为的真实性和一致性，无需额外的人类偏好注释。

本研究提出偏好对齐蒸馏(PAD)框架，旨在解决小型语言模型(SLMs)从大型语言模型(LLMs)中提取偏好知识的细化问题，显著提升人类偏好的对齐效果。

本研究提出了一种即时偏好对齐方法，有效解决大型语言模型生成与人类价值观对齐的效率问题。实验结果表明，该方法在对齐任务中表现优异，具备高效性和有效性。

本研究提出PIPA框架，以统一理解语言模型的偏好对齐问题。通过最大似然估计，PIPA实现了3-10%的性能提升，并有效整合了先验信息。

本文探讨了视觉-语言-动作（VLA）模型在机器人操作中的应用与挑战，提出了GRAPE方法，通过偏好对齐提升机器人策略的泛化能力。GRAPE利用视觉语言模型分解任务，优化轨迹以适应不同操控目标，旨在降低强化学习成本并提高灵活性。

本研究提出了一种新颖的多视角偏好对齐方法（PA-RAG），有效解决了现有检索增强生成模型在信息量、鲁棒性和引用质量方面的不足，显著提升了生成器的性能。

本研究提出RAG-RewardBench基准，旨在解决检索增强语言模型与人类偏好对齐不足的问题。通过评估45个奖励模型，揭示了现有模型在偏好一致性方面的局限性，强调了进行偏好对齐训练的必要性。

本研究提出了一种新颖的偏好对齐框架RADIO，旨在解决检索增强生成(RAG)中重新排序器与生成器之间的相关性差距。通过大语言模型提取推理依据，优化文档排序和生成，实验结果表明该方法在多个任务上优于基线，具有显著实用价值。