FineMath：面向中文大语言模型的细粒度数学评估基准

ConceptMath 是一个双语基准，用于评估大型语言模型的数学推理能力，按数学概念层次组织问题。

研究发现，现有大型语言模型在不同数学概念上存在显著的性能差异，尤其在基本概念上可能出现灾难性失误。

提出了一种高效的微调策略，以提高大型语言模型的弱点。

使用 FinEval 基准测试评估大型语言模型在金融领域的表现，只有 GPT-4 达到接近 70% 的准确度。

研究提供了一个数据集，评估大型语言模型在小学数学的能力，发现只有 GPT-4 在算术问题和推理方面具有鲁棒性。

提出了一种方法生成高质量的数学推理数据，创建了包含 200 万个数学问题的数据集 MathScaleQA。

研究探索了三种微调策略，发现可以显著提高模型在数学问题上的性能。

引入了 SC-Math6 基准数据集，评估中文语言模型的数学推理能力，顶级模型如 GPT-4 表现优异。

FinLLMs 方法通过生成金融问题回答数据，提升了金融领域数值推理模型的性能。

研究调查了大型语言模型在解决数学问题方面的进展与挑战，并提供了该领域的整体观点。