PAL：异构偏好学习的多元对齐框架
内容提要
本文探讨了增强大型语言模型与人类偏好对齐的多种方法，包括新提出的MORE训练策略和d-PM模型。研究表明，这些方法在奖励准确性、校准误差和偏好学习方面表现优越，尤其在处理不完整数据和偏好一致性上具有显著优势。此外，线性对齐算法通过简化推断步骤，提高了模型对齐的效率。
延伸解读
MORE策略：混合偏好数据集的挑战与应对
文章指出，简单混合不同人类偏好数据集以增加数据量的奖励建模方法可能失败。为此，研究提出MORE训练策略，通过自适应调整偏好目标来捕捉不同偏好中的共享人类价值观。实验表明，MORE在奖励准确性和校准误差方面优于其他方法。这提示我们，处理多元偏好时，需关注偏好间的共享价值，而非简单数据堆叠。
d-PM模型：贝叶斯框架下的偏好分歧建模
d-PM采用贝叶斯框架考虑人类偏好之间的分歧分布，并利用偏好分数通过对比学习策略训练自然语言生成模型。实验证明，该方法在自动评估和人工评估方面均优于之前的最佳模型。这表明，显式建模偏好分歧有助于提升模型对齐效果，为处理多元偏好提供了新思路。
偏好评估的脆弱性：人类与高级模型的差异
研究发现，人类对错误不太敏感，倾向于支持符合自身观点的回答，且不喜欢模型承认局限性；而高级语言模型如GPT-4-Turbo更强调正确性、清晰度和无害性。此外，基于偏好的评估可被操纵：使模型与评委偏好一致可提高评分，注入评委不喜欢的属性则降低评分，在MT-Bench上评分变化高达0.59分（1-10分制），在AlpacaEval 2.0上高达31.94分（0-100分制）。这提醒我们，评估结果可能受策略性调整影响，需谨慎解读。
线性对齐：高效对齐的新途径
线性对齐算法通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖。它通过新的参数化方法改进策略优化，能够按照差异约束条件提取最优策略，并直接估计对齐的回应。实验表明，线性对齐显著提高了语言模型对齐在不同场景下的性能和效率。这为降低对齐成本、提升效率提供了有前景的方向。
Q&A
MORE训练策略的主要优势是什么？
MORE训练策略通过自适应调整偏好目标，捕捉共享人类价值观，在奖励准确性和校准误差方面表现优越。
d-PM模型是如何处理人类偏好分歧的？
d-PM模型采用贝叶斯框架考虑人类偏好之间的分歧分布，并利用对比学习策略进行训练。
线性对齐算法如何提高模型对齐效率？
线性对齐算法通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖，从而提高了效率。
研究发现人类对错误的敏感性如何？
研究发现人类对错误不敏感，倾向于支持符合自身观点的回答。
Panacea方法的创新之处是什么？
Panacea方法将对齐视为多维偏好优化问题，使用奇异值分解实现有效对齐，展现了与强化学习反馈不同的对齐技术潜力。
如何通过偏好评估影响模型评分？
通过将模型与评委的偏好一致性提高评分，而注入评委不喜欢的属性则降低评分，显示出战略性调整的重要影响。
