朝着大型语言模型偏好学习的统一视角：一项调查
内容提要
本文探讨了大型语言模型（LLMs）与人类偏好的对齐方法，包括点对点偏好学习、奖励模型优化和软偏好优化。研究表明，利用奇异值分解和联合指导-回应偏好数据等技术，可以显著提升模型的对齐效果，增强与人类偏好的匹配。
延伸解读
偏好学习方法的演进脉络
文章按时间顺序梳理了LLM偏好学习的关键进展：从2023年10月利用元学习实现群体偏好优化，到12月提出点对点DPO统一框架，再到2024年2月研究奖励模型转换与多属性组合，随后出现Panacea、DOVE、SPO等方法。这一脉络显示，对齐技术正从单一偏好向多维、软偏好及无需奖励模型的方向发展，同时注重计算效率与理论解释。
奖励模型转换与多属性对齐的实用考量
文章指出，在基于奖励模型的对齐中，奖励的单调转换选择会影响效果。研究确定了一种自然转换，它强调改进表现较差的输出，从而缓解欠拟合和奖励欺骗，并通过求和与逻辑合取的联系实现多属性聚合。使用RLHF进行帮助性和无害性对齐的实验表明，相比未转换的基准方法有显著改进，这为多目标对齐提供了可操作思路。
软偏好优化（SPO）的理论特点
SPO方法无需奖励模型即可使LLM与人类偏好对齐，通过自然损失函数在整个输出分布上优化，包含偏好损失和正则化项。在Bradley-Terry假设下，SPO收敛于缩放奖励的softmax，调整softmax指数可控制分布的“软度”。这提供了理论保证，并在简单性、计算效率和对齐精度上展现出比较优势，为无需显式奖励模型的对齐提供了新途径。
数据效率与群体偏好的平衡
文章提到，利用少量数据即可实现群体偏好优化的对齐框架，通过独立Transformer模块预测群体偏好，并借助元学习训练多个群体，从而减少群体特定偏好和计算资源需求。此外，联合指导-回应偏好数据训练（DOVE）在总结和开放式对话任务上分别提升5.2%和3.3%胜率。这些进展表明，在数据有限和群体多样化的场景下，对齐方法正变得更加高效和实用。
Q&A
大型语言模型如何实现与人类偏好的对齐？
大型语言模型通过点对点偏好学习、奖励模型优化和软偏好优化等方法实现与人类偏好的对齐。
什么是点对点DPO偏好学习方法？
点对点DPO偏好学习方法是一种新的偏好学习框架，旨在同时处理人类演示和点对点优先数据，减少信息损失。
软偏好优化（SPO）方法的优势是什么？
软偏好优化方法无需奖励模型即可与人类偏好对齐，具有计算效率高和对齐精度好的优势。
如何通过联合指导-回应偏好数据提高LLM的对齐效果？
通过使用DOVE目标函数进行训练，可以显著提高大型语言模型的对齐效果，尤其在总结和开放式对话数据集上。
Panacea方法在对齐大型语言模型中有什么创新？
Panacea方法将对齐视为多维偏好优化问题，使用奇异值分解实现有效对齐，减少了进一步调整的需求。
在大型语言模型的对齐研究中，奖励模型的作用是什么？
奖励模型用于从偏好数据中获取奖励，以更新语言模型，使其与人类偏好一致。
