量子位
·
Llama版o1来了，来自上海AI Lab，强化学习代码已开源，基于AlphaGo Zero范式
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
LLaMA版o1项目由上海AI Lab发布，结合蒙特卡洛树搜索与强化学习，开源代码引发关注。该模型在数学奥赛测试中表现优异，优化后正确率显著提升。团队还推出了包含长思维链的预训练数据集，支持进一步训练。同时，上交大团队的O1-Journey项目也在推进中。
🎯
关键要点
- LLaMA版o1项目由上海AI Lab发布，结合蒙特卡洛树搜索与强化学习。
- 开源代码引发关注，模型在数学奥赛测试中表现优异。
- 优化后正确率显著提升，团队推出包含长思维链的预训练数据集。
- O1-Journey项目由上交大团队推进，介绍了创新的Journey Learning范式。
- LLaMA-O1项目使用了AlphaGo Zero的双重策略范式。
- 在AIME2024基准测试中，优化后的模型表现超过其他商业闭源方案。
- 开源内容包括预训练数据集、预训练模型和强化学习训练代码。
- 预训练数据集包含10万+条长思维链数据，支持进一步训练。
- 训练过程中使用了LoRA、PPO和GAE等关键技术。
- LLaMA-O1代码发布在名为SimpleBerry的GitHub账号下。
➡️
