InfoQ
·
谷歌发布大型语言模型自我纠正算法SCoRe
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
谷歌DeepMind研究人员提出了一种通过强化学习进行自我纠正（SCoRe）的方法，提升大型语言模型在数学和编程问题上的自我纠正能力。SCoRe使用模型生成的数据进行自我纠正，通过两阶段强化学习微调。与基线模型相比，SCoRe在MATH和HumanEval测试中分别提高了15.6和9.1个百分点。
🎯
关键要点
- 谷歌DeepMind研究人员提出了一种通过强化学习进行自我纠正（SCoRe）的方法，提升大型语言模型在数学和编程问题上的自我纠正能力。
- SCoRe使用模型生成的数据进行自我纠正，通过两阶段强化学习微调。
- 与基线模型相比，SCoRe在MATH和HumanEval测试中分别提高了15.6和9.1个百分点。
- SCoRe不同于以往依赖提示工程或单独“教师”模型的自我纠正方法，使用模型自身生成的数据进行自我纠正。
- SCoRe的两阶段强化学习过程包括：第一阶段保持初始响应不变，第二次尝试生成正确响应；第二阶段对两个响应的正确答案给予奖励，并对改进的第二响应给予额外奖励。
- DeepMind团队在研究其他方法的不足后开发了SCoRe，指出仅依靠提示工程无法成功实现自我纠正。
- SCoRe的训练方法旨在防止模型仅学习“产生最佳首次响应并进行小幅编辑”。
- 用户在Reddit和Hacker News讨论中对SCoRe与OpenAI的Omni模型微调方法进行了比较，认为两者在自我纠正技术的学习上有相似之处。
➡️
