迭代问题组合增强数学问题
内容提要
该文汇总多项研究:MetaMath微调提升模型数学推理能力;扰动测试表明大模型缺乏深度推理;提出多语言图像问答mQA、多模态数据集MMQA及少样本框架MMQA-ICL;通过问题演化与多样化推理路径增强数据,构建AugGSM8K并微调MuggleMath,使GSM8K准确率7B模型从54%升至68.4%、13B模型从63.9%升至74.0%,但跨基准泛化仍弱;另提出MMT-VQA方法及多领域问题重写数据集。
延伸解读
数据增强的收益与边界
文章显示,通过问题演化和多样化推理路径构建AugGSM8K并微调MuggleMath,GSM8K准确率在7B模型上从54%升至68.4%,13B模型从63.9%升至74.0%。但MuggleMath在MATH基准上泛化困难,作者归因于两个数据集的问题分布差异。这表明针对单一基准的增强能显著提升该基准表现,却未必转化为整体数学推理能力,读者需关注增强数据与目标场景的分布匹配度。
扰动测试揭示的推理短板
文章提到一项扰动测试研究:对问题施加扰动后,现有大模型性能显著下降,说明其缺乏深度推理能力。这一发现与AugGSM8K的增强效果形成对照——准确率提升可能部分来自对特定问题模式的适应,而非真正学会推理。评估数学能力时,除标准基准分数外,还应关注模型在问题变体下的稳健性,避免高估实际推理水平。
多模态问答的少样本进展
文章汇总了多模态问答方向的多项工作:MMQA数据集要求联合推理文本、表格和图像;MMQA-ICL框架结合异构数据检索器与图像描述模块,首次采用端到端LLM提示方法,在少样本设置下优于基准线和全数据训练方法。这提示在标注数据有限时,检索与提示设计可能比扩大训练数据更关键,但文章未说明该框架在更多数据集上的泛化表现。
Q&A
MetaMath是什么?它在数学推理上有什么优势?
MetaMath是一个专注于数学推理的精细调整语言模型,实验证明其在数学推理方面表现优于开源语言模型。
大型语言模型在数学推理任务中是否存在深度推理能力不足的问题?
是的,通过扰动问题和生成数据集评估发现,现有模型在扰动问题上性能显著下降,表明它们缺乏深度推理能力。
AugGSM8K数据集是如何构建的?使用它微调MuggleMath后效果如何?
AugGSM8K通过问题演化和多样化推理路径的数据增强构建。使用其子集微调MuggleMath后,GSM8K准确率在7B模型上从54%提升至68.4%,在13B模型上从63.9%提升至74.0%。
MuggleMath在跨基准泛化方面表现如何?原因是什么?
MuggleMath在MATH的领域外数学推理泛化方面存在困难,归因于AugGSM8K和MATH之间问题分布的差异,暗示在单一基准上的增强无助于整体数学推理性能。
MMQA数据集是什么?它有什么特点?
MMQA(MultiModalQA)是一个需要对文本、表格和图像进行联合推理来回答问题的数据集,作者还创建了新框架来生成复杂的多模态问题,并演示了多模态多跳方法的必要性。
MMQA-ICL框架在少样本多模态问答中表现如何?
MMQA-ICL框架包括强大的异构数据检索器和图像描述模块,首次使用端到端LLM提示方法,在多模态问题回答上表现出色,优于所有基准线和使用完整数据集训练的方法,达到了少样本设置下的最新成果。