量子位
·
4B小模型数学推理首超Claude 4，700步RL训练逼近235B性能 | 港大&字节Seed&复旦
内容提要
香港大学、字节跳动Seed和复旦大学联合推出的Polaris方法，通过700步强化学习训练，使4B模型在数学推理能力上超越多款商业大模型，特别是在长文本生成方面表现突出。该方法强调动态调整训练数据和超参数，提升了模型的多样性和准确性。
关键要点
-
香港大学、字节跳动Seed和复旦大学联合推出Polaris方法，通过700步强化学习训练，4B模型在数学推理能力上超越多款商业大模型。
-
Polaris方法强调动态调整训练数据和超参数，提升模型的多样性和准确性。
-
Polaris通过Scaling RL让4B模型在数学推理任务上接近235B版本的表现。
-
训练数据构造中，Polaris团队发现不同能力基模型对同一数据的难度分布呈现镜像化特征。
-
Polaris提出构建轻微偏向难题的数据分布，避免过度偏向简单或难题。
-
在RL训练中，多样性被视为提升模型表现的重要因素，Polaris通过动态调整采样温度来控制多样性。
-
Polaris团队发现采样温度与模型性能和多样性之间存在平衡关系，理想温度需针对待训练模型精细校准。
-
Polaris采用多阶段训练方式，逐步增加上下文窗口长度以拓宽模型推理能力。
-
通过引入长度外推技术，Polaris提升了长文本生成能力，准确率由26%提升至超过50%。
-
Polaris模型在AIME24和AIME25评测中表现最佳，数学推理能力显著超越其他商业大模型。
延伸解读
Polaris方法的创新之处
Polaris方法通过动态调整训练数据和超参数，显著提升了4B模型的数学推理能力。这种方法不仅强调了数据的多样性，还通过实时更新样本的难度，确保模型在训练过程中不断挑战自我，避免了过度依赖简单问题的风险。
长文本生成能力的提升
Polaris在长文本生成方面的突破，得益于引入长度外推技术，使得模型能够处理超出训练时所见的更长序列。这一策略有效提升了长文本的准确率，从26%提高至50%以上，显示出在长上下文处理上的潜力。
采样温度的调控策略
Polaris团队发现采样温度对模型性能和多样性有显著影响。通过动态调整采样温度，团队能够在训练过程中保持模型的多样性，避免性能崩塌。这一策略强调了在强化学习中，超参数的精细调校对模型表现的重要性。
延伸问答
Polaris方法的主要创新点是什么？
Polaris方法通过700步强化学习训练，动态调整训练数据和超参数，显著提升了4B模型的数学推理能力。
Polaris模型在数学推理能力上与其他模型相比如何？
Polaris模型在AIME24和AIME25评测中表现最佳，数学推理能力超越了多款商业大模型，如Claude 4。
如何构建适合Polaris训练的数据集？
Polaris团队建议构建轻微偏向难题的数据分布，避免过度偏向简单或难题，以提高训练效果。
Polaris如何提升长文本生成能力？
Polaris通过引入长度外推技术，使模型能够处理超出训练时所见的更长序列，准确率由26%提升至超过50%。
Polaris在训练过程中如何控制多样性？
Polaris通过动态调整采样温度来控制多样性，以避免模型在训练早期陷入过于确定的策略中。
Polaris模型的训练过程是怎样的？
Polaris采用多阶段训练方式，逐步增加上下文窗口长度，以拓宽模型的推理能力，并动态更新采样温度。
