基于关键点的数据综合及其对数学推理的增强
内容提要
该文综述多项提升大模型推理能力的研究：MathGenie通过种子数据生成数学问题并训练MathGenieLM，在GSM8K上达87.7%；KARD利用外部知识微调小模型；TheoremQA评估定理应用，GPT-4达51%；MMIQC提升数学推理；MCC-KD增强一致性与多样性；此外还涉及异构知识检索、结构化知识几何推理、QRData定量推理及知识图谱协作训练。
延伸解读
数据生成与模型训练的新范式
MathGenie 通过种子数据生成多样且可靠的数学问题，并训练回译模型将解决方案翻译回新问题，从而产生与代码集成的问题解决方案。这种方法提供了理性基础验证策略，并训练了从 7B 到 70B 的 MathGenieLM 系列模型。这些模型在五个数学推理数据集上优于以前的开放源语言模型，尤其在 GSM8K 上达到 87.7% 的准确率，展示了数据生成在提升模型推理能力方面的潜力。
知识增强与定理驱动的推理评估
KARD 方法通过从外部知识库检索增强知识来微调小型语言模型，生成 rationale，并引入神经重新排序器获取相关文档，显著提升了小型 T5 和 Flan-T5 在知识密集型推理数据集上的性能。TheoremQA 则是一个定理驱动的问答数据集，用于评估模型应用定理解决科学问题的能力。评估显示 GPT-4 在 Program-of-Thoughts Prompting 下达到 51% 的准确率，而所有开源模型均低于 15%，凸显了开源模型在定理应用上的巨大差距。
结构化知识与定量推理的挑战
结构化知识的几何推理研究使用 Knowledge Crosswords 基准评估 LLMs，发现基准方法在简单问题上表现良好，但在困难问题上不佳。提出的 Verify-All 方法大幅优于其他方法，并对困难问题更稳健。分析表明，LLMs 在结构化知识的几何推理能力仍不够强大，易受选项顺序、特定结构模式等因素影响。QRData 基准则评估模型对现实世界数据的统计和因果推理能力，发现模型在数据分析和因果推理方面存在困难，难以同时使用因果知识和提供的数据。
Q&A
MathGenie 是如何生成数学问题并提升模型推理能力的？
MathGenie 从小规模种子数据生成多样且可靠的数学问题，通过增加种子数据的真实解决方案，并训练回译模型将增加的解决方案翻译回新问题，产生与代码集成的问题解决方案，进而提供理性基础验证策略。基于新收集的数据训练了 7B 到 70B 的预训练模型，形成 MathGenieLM 系列，在五个数学推理数据集上达到最新性能，其中 MathGenieLM-InternLM2 在 GSM8K 上准确率达 87.7%，在 MATH 上达 55.7%。
KARD 方法如何利用外部知识提升小模型在知识密集型推理上的表现？
KARD（知识增强推理提炼）从外部知识库检索增强知识，用于微调小型语言模型以生成 rationale，并进一步提出神经重新排序器获取与理性产生相关的文档。该方法在知识密集型推理数据集上显著提高了小型 T5 和 Flan-T5 模型的性能。
TheoremQA 基准测试是什么？GPT-4 在其中的表现如何？
TheoremQA 是一个以定理驱动的问答数据集，用于评估人工智能模型应用定理解决具有挑战性科学问题的能力。研究人员使用 16 个大型语言和代码模型进行评估，发现 GPT-4 在 Program-of-Thoughts Prompting 帮助下达到 51% 的准确率，而所有开源模型均低于 15%，仅略高于随机猜测基线。
MMIQC 和 MCC-KD 分别如何提升大模型的数学推理能力？
MMIQC 数据集及 IQC 增强方法利用大型语言模型提升数学推理能力，提出的 Mistral-7B-MMIQC 模型在 MATH 比赛上实现 36.0% 的准确率，比之前 SOTA 模型提高 5.8%。MCC-KD（Multi-CoT 一致知识蒸馏）方法旨在提升大型语言模型的推理能力，实现多样性和一致性，并在数学推理和常识推理基准测试中验证了优秀性能和鲁棒泛化能力。
在异构知识源（如知识库和文本）上，大型语言模型面临哪些挑战？有哪些解决方案？
大型语言模型仅依赖内部知识时容易产生幻觉，尤其对于不常见信息。基于检索的方法主要强调非结构化文本，忽视底层结构，且缺乏对异构知识源（如知识库和文本）进行有效定位的基准数据集。为此，研究者策划了一个综合数据集，提出两跳多源问题（需从开放域结构化和非结构化知识源检索信息）和符号化查询生成（如 SPARQL）两个挑战，并引入利用多个检索工具（包括文本段落检索和符号化语言辅助检索）的新方法，在解决推理挑战上优于以往方法。
结构化知识的几何推理任务是什么？Verify-All 方法效果如何？
结构化知识的几何推理任务以图结构连接多个知识片段，模型需要填补遗漏信息。研究使用 Knowledge Crosswords 基准评估现有 LLMs 提示方法，并附加 Staged Prompting 和 Verify-All 两种新方法。结果表明，基准方法对简单问题表现良好但困难问题不佳，而 Verify-All 方法在性能上大幅优于其他方法，对困难问题更稳健。进一步分析发现，LLMs 在结构化知识的几何推理能力仍不够强大，易受选项顺序、特定结构模式、假设存在正确答案等因素影响。
QRData 基准测试评估了什么？模型在定量推理上的表现如何？
QRData 基准旨在评估大型语言模型对现实世界数据的统计和因果推理能力。研究在一组精心构建的数据集中评估了不同模型的定量推理能力，发现模型在数据分析和因果推理方面存在困难，同时难以同时使用因果知识和提供的数据。
大型语言模型与知识图谱协作训练的方法有何优势？
该方法利用大型语言模型和知识图谱的协作训练，在知识图谱指导下，通过迭代探索和选择性检索任务相关的知识子图来支持推理，使 LLMs 能更可靠地进行基于知识的推理，并明确阐述推理过程。实验结果表明，该方法在多个数据集上显著改进，尤其在 QALD10 数据集上相对于最佳基线和最先进方法提高了超过 10%，为知识图谱和大型语言模型融合研究提供了有价值的参考。
