JiuZhang3.0:通过训练小型数据合成模型高效提升数学推理能力

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

MathGenie是一种新方法,通过增加种子数据的真实解决方案并训练回译模型,生成多样且可靠的数学问题解决方案。该方法形成了MathGenieLM系列模型,在数学推理数据集上表现优于以前的模型,达到了最新的性能水平。

🎯

关键要点

  • MathGenie是一种新方法,通过增加种子数据的真实解决方案生成数学问题。
  • 该方法训练回译模型,将增加的解决方案翻译回新问题。
  • MathGenie形成了MathGenieLM系列模型,涵盖从7B到70B的预训练模型。
  • 这些模型在五个数学推理数据集上表现优于以前的开放源语言模型。
  • MathGenieLM-InternLM2在GSM8K上达到了87.7%的准确率,在MATH上达到了55.7%的准确率。
➡️

继续阅读