量子位
·
无需数据标注！测试时强化学习，模型数学能力暴增 | 清华&上海AI Lab
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
清华大学与上海AI实验室的研究表明，通过测试时强化学习（TTRL），模型的数学能力提升了159%。该方法无需数据标注，模型能够自生成训练数据，显著提高了多个数据集的准确率，尤其在AIME 2024竞赛中表现优异。
🎯
关键要点
- 清华大学与上海AI实验室的研究表明，通过测试时强化学习（TTRL），模型的数学能力提升了159%。
- 该方法无需数据标注，模型能够自生成训练数据，显著提高了多个数据集的准确率。
- 在AIME 2024竞赛中，Qwen-2.5-Math-7B模型的成绩直接提高了159%。
- 测试时强化学习（TTRL）过程包括生成、投票和强化三个步骤。
- 模型通过生成多样化的候选答案，并采用多数投票机制来估计正确答案。
- TTRL在AIME 2024、AMC和MATH-500三个数据集上测试，表现出显著的准确率提升。
- TTRL使Qwen2.5-Math-7B模型在三个数据集上的平均性能提高了84.1%。
- 强化学习具备纠错能力，即使伪标签不完全准确，仍能优化模型表现。
❓
延伸问答
测试时强化学习（TTRL）是什么？
测试时强化学习（TTRL）是一种结合测试时扩展和训练的方法，通过生成多样化的候选答案并采用多数投票机制来优化模型表现。
TTRL如何提高模型的数学能力？
TTRL通过自生成训练数据和多数投票机制，使模型在多个数据集上的准确率显著提升，特别是在AIME 2024竞赛中表现优异。
Qwen-2.5-Math-7B模型在AIME 2024竞赛中的表现如何？
在AIME 2024竞赛中，Qwen-2.5-Math-7B模型的准确率从16.7%提高到43.3%，提升幅度达到159%。
TTRL的三个主要步骤是什么？
TTRL的三个主要步骤是生成候选答案、投票估计正确答案和利用强化学习优化模型策略。
TTRL在不同数据集上的表现如何？
TTRL在AIME 2024、AMC和MATH-500数据集上均表现出显著的准确率提升，平均提高了84.1%。
强化学习在TTRL中有什么作用？
强化学习在TTRL中用于优化模型策略，能够纠正错误，即使伪标签不完全准确，仍能提升模型表现。
➡️
