量子位
·
1.5B刷新数学代码SOTA！快手&清华精细化Token管理，LLM推理能力飙升
💡
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
快手与清华团队提出的Archer方法，通过精细化Token管理，提升了1.5B参数小模型在数学和代码任务上的推理能力，实现了知识与推理的平衡，显著提高了模型的正确率，超越同量级SOTA模型。
🎯
关键要点
- 快手与清华团队提出的Archer方法，通过精细化Token管理，提升了1.5B参数小模型在数学和代码任务上的推理能力。
- Archer方法实现了知识与推理的平衡，显著提高了模型的正确率，超越同量级SOTA模型。
- 传统的强化学习方法对知识型和推理型内容的训练存在问题，导致知识逐渐变差或推理能力受限。
- Archer方法通过“双Token约束”对Token进行差异化训练，确保知识和推理的同步更新。
- 在数学推理任务上，Archer在多个基准上正确率大幅提升，超过了同量级SOTA模型。
- 在代码生成任务上，Archer的刷题能力显著增强，成为同量级最佳代码生成模型之一。
- Archer的训练效率高，仅用单阶段训练和较少的GPU小时数实现了显著提升。
- Archer的核心洞察是知识稳定性和推理探索性的平衡，确保模型既能记住基础知识，又能提升逻辑能力。
➡️
