理解直接对齐算法中的可能性过度优化

BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本研究通过人类反馈学习奖励模型，并用规则化强化学习优化大型语言模型。为解决对齐方法中对比损失依赖对数似然且不考虑长度变化的问题，引入了一种长度不变的平均算子，与最佳策略算子结合，对对数似然进行平均化。实验证明，该方法在生成文本长度和评分之间存在权衡。