直接偏好优化中的参考策略理解
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文探讨了直接偏好优化（DPO）在大型语言模型对齐中的不足，并提出了多参考模型偏好优化（MRPO）和带有偏移量的DPO（ODPO）等新方法，以提升模型的泛化能力和对齐效果。研究表明，这些新方法在处理偏好数据时表现优越，尤其在数据稀缺情况下，推动了自然语言处理任务的性能提升。
❓
Q&A
直接偏好优化（DPO）存在哪些缺陷？
DPO 存在未解决的缺陷，影响低质量响应和约束处理。
什么是多参考模型偏好优化（MRPO）？
MRPO 是一种利用多样化参考模型增强偏好学习能力的新方法。
MRPO 在数据稀缺情况下的表现如何？
MRPO 在数据稀缺情况下表现出更好的泛化能力，提升了多个自然语言处理任务的性能。
带有偏移量的 DPO（ODPO）有什么优势？
ODPO 通过设置偏移量改善了对齐效果，尤其在偏好对数量有限时表现优越。
Token-level Direct Preference Optimization（TDPO）是如何提高对齐性的？
TDPO 通过优化策略的 token 级别前向 KL 散度约束，提高了对齐性和多样性。
Mallows-DPO 是什么，它的应用场景有哪些？
Mallows-DPO 利用人类偏好的分散度指数改进 DPO，适用于合成赌徒选择、可控生成和对话等基准任务。
🏷️
