MAmmoTH2：网络中的指令扩展
内容提要
MAmmoTH是一系列开源大型语言模型，专注于数学问题解决。研究构建了包含180万个问题的OpenMathInstruct-1数据集，并在数学推理基准上取得优异成绩。研究表明，数据量和模型参数对性能影响显著，人工指导数据优于合成数据。提出的双向指令调优策略提升了模型的数学推理能力，并探索了高质量指令数据生成的新方法。
延伸解读
数据质量与模型能力的差异化影响
研究发现，数据量和参数规模对模型整体性能有直接影响，但不同能力对数据量的敏感度不同。有些能力可以通过有限数据有效训练，而有些能力则对数据量增加高度抵抗。这意味着在资源有限时，应优先针对那些对数据量敏感的能力进行优化，而非盲目扩大数据规模。
人工指导数据与合成数据的效率对比
人工指导的数据在效率上明显优于GPT-4生成的合成数据，并且随着数据量增加，模型性能可以持续提升，而合成数据则无法达到这种效果。这表明在构建高质量指令数据时，人工参与仍然至关重要，尤其是在需要复杂推理的数学任务中。
双向指令调优与顺序指令调整的通用性
双向指令调优通过前向和后向推理任务提升了模型对数学推理的理解与执行能力，适用于多种数学推理任务。顺序指令调整则通过自动增加指令数据，赋予模型执行多个顺序指令的能力，在推理、多语言和多模态任务中均优于传统指令调整基线。这两种策略为复杂任务的指令调整提供了新思路。
自主选择训练数据降低训练成本
基于样本学习百分比的训练数据选择方法，展示了语言模型自主选择高质量训练数据的能力。这种方法可以大幅降低训练成本，同时达到或超过使用整个数据集训练的性能表现。这为高效利用训练数据提供了实用方向，尤其适合资源受限的研究场景。
Q&A
MAmmoTH模型的主要应用领域是什么？
MAmmoTH模型主要应用于数学问题的解决。
OpenMathInstruct-1数据集包含多少个问题？
OpenMathInstruct-1数据集包含180万个问题。
人工指导数据与合成数据相比有什么优势？
人工指导数据在效率上明显优于合成数据，并且可以随着数据量增加不断提高模型性能。
双向指令调优策略的作用是什么？
双向指令调优策略通过前向和后向推理任务改善模型对数学推理的理解与执行能力。
顺序指令调整策略如何提升模型性能？
顺序指令调整策略通过自动增加指令调整数据，赋予模型执行多个顺序指令的能力，从而提升性能。
MAmmoTH模型在数学推理基准上表现如何？
MAmmoTH模型在GSM8K和MATH两个数学推理基准上取得了优异成绩。
