BriefGPT - AI 论文速递 · 2024-02-20T00:00:00Z LLM 对齐的贝叶斯奖励模型 💡 原文中文，约400字，阅读约需1分钟。 📝 内容提要 研究人员使用贝叶斯奖励模型来缓解奖励过度优化的问题。通过训练贝叶斯奖励模型，在离训练数据分布较远的位置发出更高的不确定性信号，减少错误的奖励选择。使用 Laplace-LoRA 训练的贝叶斯奖励模型成功缓解了最佳 n 采样中的奖励过度优化问题。 🏷️ 标签 Laplace-LoRA llm 不确定性信号 奖励过度优化 最佳 n 采样 贝叶斯奖励模型 阅读原文 生成长图 分享链接 已复制链接
