理解直接对齐算法中的可能性过度优化
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了直接对齐算法（如直接偏好优化和身份偏好优化）在模型性能与生成输出可能性之间的关系中的缺陷，识别出可能性过度优化这一关键问题。研究表明，尽管高可能性与更好知识记忆相关，稍微降低的完成可能性会提高输出多样性，进而改善未见场景的泛化能力。此外，提出了两个指标来判断过度优化对性能的影响，从而帮助改善人类偏好的对齐。
本研究通过人类反馈学习奖励模型，并用规则化强化学习优化大型语言模型。为解决对齐方法中对比损失依赖对数似然且不考虑长度变化的问题，引入了一种长度不变的平均算子，与最佳策略算子结合，对对数似然进行平均化。实验证明，该方法在生成文本长度和评分之间存在权衡。
