通过从零开始的可扩展问题合成释放大语言模型的推理能力

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

MathGenie是一种新方法,通过扩展小规模问题解决数据集生成多样化数学问题。它训练回译模型,形成MathGenieLM系列模型,在多个数学推理数据集上表现优异,特别是MathGenieLM-InternLM2在GSM8K和MATH上取得了高准确率。

🎯

关键要点

  • MathGenie是一种新方法,通过扩展小规模问题解决数据集生成多样化数学问题。
  • 该方法通过增加种子数据的真实解决方案,并训练回译模型生成新问题。
  • MathGenieLM系列模型在多个数学推理数据集上表现优异。
  • MathGenieLM-InternLM2在GSM8K上取得了87.7%的准确率,在MATH上取得了55.7%的准确率。
  • 这些模型在五个代表性数学推理数据集上优于以前的开放源语言模型。
➡️

继续阅读