量子位
·
NeurIPS唯一满分论文曝光，来自清华上交
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
清华大学和上交大学的研究团队在NuerIPS上发表了一篇论文，质疑强化学习（RLVR）在提升大语言模型推理能力中的作用，认为蒸馏方法更为有效。研究指出，RLVR主要优化已有能力，而非探索新路径，强调底模的潜力被低估。
🎯
关键要点
- 清华大学和上交大学的研究团队在NuerIPS上发表论文，质疑强化学习（RLVR）在提升大语言模型推理能力中的作用。
- 研究认为蒸馏方法比强化学习更有效，强调底模的潜力被低估。
- 论文题目为《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》，获得NuerIPS唯一满分。
- 研究表明，RLVR主要优化已有能力，而非探索新路径。
- 通过pass@k评估指标，研究团队发现底模在高采样次数下表现优于RL模型。
- 多种RL算法在提升采样效率方面差异不大，且与底模最大能力相比仍有差距。
- 蒸馏方法更有可能扩展模型的推理能力范围，RLVR的实际作用可能被高估。
- 研究团队选取了数学推理、代码生成和视觉推理等领域进行测试，确保结果的全面性和代表性。
- 论文作者包括来自清华大学和上海交通大学的多位研究人员，项目负责人为清华大学的博士生乐洋。
- 研究强调强化学习在某些低采样场景仍然有效，但并非突破底模上限的关键。
➡️
