直接偏好优化中的参考策略理解
内容提要
本文探讨了直接偏好优化（DPO）在大型语言模型对齐中的不足，并提出了多参考模型偏好优化（MRPO）和带有偏移量的DPO（ODPO）等新方法，以提升模型的泛化能力和对齐效果。研究表明，这些新方法在处理偏好数据时表现优越，尤其在数据稀缺情况下，推动了自然语言处理任务的性能提升。
延伸解读
DPO的局限与改进方向
文章指出直接偏好优化（DPO）存在未解决的缺陷，主要体现在低质量响应和约束处理的权衡上。为此，研究者提出了多种改进方法，如MRPO、ODPO、TDPO等，旨在通过调整损失函数或引入额外信息来提升对齐效果。这些方法反映了DPO在实践中的不足，以及社区对其持续优化的努力。
多参考模型偏好优化（MRPO）的优势
MRPO通过引入多个参考模型，利用更广泛的先验知识来增强偏好学习。实验表明，无论偏好数据稀缺还是丰富，MRPO微调的大语言模型都表现出更好的泛化能力，并在GSM8K和TruthfulQA等下游任务中取得优越性能。这提示我们，多样化的参考模型可能有助于缓解数据不足带来的过拟合问题。
ODPO与TDPO：针对特定问题的改进
ODPO通过设置偏移量，有选择地处理偏好对，在偏好对数量有限时明显优于传统DPO。TDPO则从token级别优化前向KL散度，提高了对齐性和多样性，并减少了偏好标签噪音的影响。这些方法针对DPO的不同弱点进行了细化改进，展示了细粒度调整的潜力。
对齐方法的性能与训练规模的关系
研究发现，对齐方法在较小的训练数据子集中表现最佳，在推理任务中效果有限，但在数学问题解决中影响显著。此外，使用调整指令的模型对真实性有明显影响。这些发现提示，对齐效果可能高度依赖于任务类型和数据规模，实际应用中需根据场景选择合适的方法。
Q&A
直接偏好优化（DPO）存在哪些缺陷？
DPO 存在未解决的缺陷，影响低质量响应和约束处理。
什么是多参考模型偏好优化（MRPO）？
MRPO 是一种利用多样化参考模型增强偏好学习能力的新方法。
MRPO 在数据稀缺情况下的表现如何？
MRPO 在数据稀缺情况下表现出更好的泛化能力，提升了多个自然语言处理任务的性能。
带有偏移量的 DPO（ODPO）有什么优势？
ODPO 通过设置偏移量改善了对齐效果，尤其在偏好对数量有限时表现优越。
Token-level Direct Preference Optimization（TDPO）是如何提高对齐性的？
TDPO 通过优化策略的 token 级别前向 KL 散度约束，提高了对齐性和多样性。
Mallows-DPO 是什么，它的应用场景有哪些？
Mallows-DPO 利用人类偏好的分散度指数改进 DPO，适用于合成赌徒选择、可控生成和对话等基准任务。
