噪声对比对齐语言模型与显性奖励
内容提要
本文综述直接偏好优化（DPO）及对比式后训练方法在大语言模型人类偏好对齐中的应用。DPO比RLHF更稳定简单，结合数据课程学习可提升对齐效果与Orca等模型性能，并涉及d-PM、点对点DPO、MEET等改进方法及NCE与负采样的参数估计分析。
延伸解读
DPO 的稳定性与简单性优势
文章指出，DPO 相比传统 RLHF 不仅表现更好，而且更加稳定和简单。这意味着在人类偏好对齐任务中，DPO 可能减少训练复杂度和调参负担，为实践者提供更易复现的替代方案。
数据课程学习提升对齐效果
文章提到，采用从“更简单”到“更困难”对比的数据课程学习方案，可以进一步提高对齐性。这提示在对比式后训练中，数据排序策略可能对最终性能有积极影响，值得在类似任务中尝试。
对比式后训练扩展至大模型
文章显示，对比式后训练在扩大实验规模后，进一步提升了 Orca 的性能，甚至超过了 ChatGPT。这表明该方法在更大模型和更多数据下仍有效，可能具备良好的可扩展性。
NCE 与负采样的适用性差异
文章分析指出，NCE 是一种渐近无偏的通用参数估计技术，而负采样适用于学习词表示，但不适用于通用估计器。这一区分有助于研究者在不同任务中选择合适的估计方法。
Q&A
DPO和RLHF在语言模型对齐上有什么主要区别？
DPO比RLHF表现更好，而且更加稳定和简单。
数据课程学习如何提升对比式后训练的对齐效果？
数据课程学习方案从“更简单”的对比开始，逐渐转向“更困难”的对比，进一步提高了对齐性。
对比式后训练对Orca模型性能有什么影响？
对比式后训练进一步提高了Orca的性能，Orca是一个与GPT-4输出相调谐的最先进的指导学习模型，其性能超过了ChatGPT。
d-PM方法是如何考虑人类偏好分歧的？
d-PM采用贝叶斯框架来考虑人类偏好之间的分歧分布，并利用d-PM模型的偏好分数使用对比学习策略来训练自然语言生成模型。
点对点DPO解决了哪些现有方法的不足？
点对点DPO填补了现有点对点优先学习方法在信息损失和失败方面的不足，并提供了同时处理人类演示和点对点优先数据的统一框架。
NCE和负采样在参数估计上有什么不同？
NCE是一种渐近无偏的通用参数估计技术，而负采样则适用于学习词表示，但不适用于通用估计器。
