北交开源o1代码版！强化学习+蒙特卡洛树搜索，源代码、精选数据集以及衍生模型通通开源

北京交通大学推出O1-CODER模型，结合强化学习与蒙特卡洛树搜索，专注于编码任务。

模型通过伪代码推理提升代码生成质量，测试用例生成通过率从80.8%提升至89.2%。

伪代码引导的深度推理显著改善推理过程，形成自我对弈闭环，持续提升系统推理能力。

模型面临结果评估和定义思考行为的挑战，提出训练测试用例生成器（TCG）作为解决方案。

采用“先思考后行动”的方式，通过伪代码生成可执行代码，提升适应性和可控粒度。

研究团队提出六个步骤的框架来优化模型，包括训练TCG和利用MCTS生成代码数据。

测试用例生成器的训练分为监督微调（SFT）和直接偏好优化（DPO）两个阶段，DPO阶段显著提升生成器性能。

伪代码作为认知工具，引导模型进行深度推理，改善推理过程质量。

使用MCTS构建步骤级别的过程奖励数据，评估生成代码的质量和正确性。

通过强化学习和MCTS更新策略模型，形成自我对弈的闭环，确保系统推理能力持续提升。