FormulaQA：一个基于公式的数值推理问答数据集
内容提要
本文综述了金融与科学等领域的数值推理问答数据集，包括FinQA、MarkQA、NOAHQA、ConvFinQA、FeTaQA、TheoremQA、GQA、FigureQA和NUMBERGAME。实验表明，预训练模型在复杂多步数值推理上远逊于人类专家，这些数据集为复杂推理研究提供了新资源与挑战。
延伸解读
数值推理数据集的领域覆盖
文章综述的数据集覆盖金融、科学、表格和视觉推理等多个领域。FinQA、ConvFinQA和NOAHQA专注于金融领域的数值推理，TheoremQA针对科学定理应用，FeTaQA处理表格问答，GQA和FigureQA则涉及视觉推理。这种多样性表明数值推理研究正从单一领域向多模态、多领域扩展，为开发通用推理模型提供了丰富的测试平台。
模型与人类专家的性能差距
实验结果显示，预训练模型在复杂多步数值推理上远逊于人类专家。例如，在NOAHQA上，人类准确匹配分数为89.7，而最佳QA模型仅达到55.5；在TheoremQA上，GPT-4在Program-of-Thoughts提示下达到51%，而所有开源模型均低于15%。这些数据凸显了当前模型在复杂推理任务上的局限性，也指明了未来研究的方向。
数据集推动推理可解释性
多个数据集强调推理过程的可解释性。NOAHQA通过推理图提供可解释性，并提出了评估答案质量的指标；MarkQA使用Python格式的逻辑形式PyQL设计推理过程；FeTaQA包含支持表格单元格，便于信息集成。这些设计不仅评估最终答案，还关注推理步骤的合理性，有助于开发更可信的AI系统。
Q&A
FinQA数据集是做什么的？
FinQA是一个用于金融领域财务报表分析的数据集，旨在解决该领域的数值推理难题。实验显示预训练模型在金融知识和复杂多步骤数值推理方面远不及专家人类。
MarkQA数据集有什么特点？
MarkQA是一个大型数据集，用于促进NR-KBQA任务，该任务需要进行多跳推理和数值推理。它使用Python格式的逻辑形式PyQL设计推理过程。实验表明，在MarkQA上进行复杂数值推理在KBQA中面临巨大挑战。
NOAHQA数据集在数值推理方面表现如何？
NOAHQA是一个双语问答数据集，旨在解决数值推理问题缺乏复杂问题和可解释性的问题。在NOAHQA上评估现有QA模型，人类表现为89.7，最好的QA模型只能达到55.5的准确匹配分数。
ConvFinQA数据集的目标是什么？
ConvFinQA是一个大规模数据集，旨在探讨大规模预训练语言模型在金融领域实现数值推理的挑战，为研究实际世界中复杂推理任务提供新资源。
FeTaQA数据集包含哪些内容？
FeTaQA数据集包含10K个基于维基百科的{表格，问题，自由形式答案，支持表格单元格}对，可用于表格问答系统的复杂推理和信息集成。
TheoremQA数据集如何评估AI模型？
TheoremQA是一个定理驱动的问答数据集，用于评估AI模型应用定理解决科学问题的能力。使用16个大型语言和代码模型评估，GPT-4在Program-of-Thoughts Prompting帮助下达到51%的准确率，而所有开源模型低于15%。
GQA数据集有什么创新之处？
GQA是一个可视化推理和组成问题回答数据集，使用场景图结构创建了2200万个不同的推理问题，并包含新的可调平滑技术来缓解问题偏差，以及评估一致性、基础和可信性的新度量标准。
FigureQA数据集包含什么？
FigureQA是一个视觉推理语料库，包含超过一百万个基于100,000张图像的问题-答案对。图像来自五个类别的合成科学式图形：线图、点线图、垂直和水平条形图以及饼状图。
NUMBERGAME基准测试评估哪些能力？
NUMBERGAME是一个多方面的基准测试，评估八种不同形式的数值推理任务，需要探测数据中的问题格式、查找中间常见格式、加入常识知识和解决不同格式数据不平衡的能力。所有基线模型表现较差，说明了该基准测试的难度。
