本研究提出了一种名为推理预算约束政策优化（IBPO）的方法，旨在提升大语言模型的推理能力。该算法通过最大化推理预算的利用率，使模型能够根据问题的难度合理分配推理预算。实验结果表明，IBPO在MATH500数据集上显著提高了模型处理复杂数学问题的能力。

本研究提出了一种新型强化学习方法，旨在提升大规模语言模型在复杂推理任务中的训练效果。通过合成试错数据和增加样本多样性，T1模型在数学推理基准测试中表现出色，展现了推理扩展能力。研究表明，增加推理预算能显著提高模型性能。