Qsnail：顺序问题生成的问卷数据集
内容提要
本文综述多个问答数据集研究：提出将长Trivia问题转为自然问题的算法，以提升低资源QA表现；介绍QASPER、SelQA、WebQA、NewsQA、SearchQA等数据集，覆盖论文、新闻、社交媒体等场景；并推出面向源代码理解的CodeQA，包含Java和Python问答对，为相关研究提供基准。
延伸解读
数据集构建方法的多样性
文章综述的多个问答数据集采用了不同的构建方法。例如，自然问题数据集通过算法将长Trivia问题转化为短问题，并利用神经分类器过滤低质量数据；SelQA通过众包生成问题并减少词共现以增加难度；NewsQA则通过四阶段过程收集人类生成的问题-答案对。这些方法反映了数据集构建在质量、规模和挑战性之间的权衡。
模型性能与人类表现的差距
多个数据集上的实验表明，神经模型的表现仍落后于人类。在社交媒体问答数据集上，即使使用fine-tuned BERT，性能也远低于人类；在NewsQA上，人类表现优于现有神经模型；SearchQA也显示了人类与机器之间的显著差距。这些差距指明了未来研究的方向，即提升模型在复杂推理和真实场景中的理解能力。
代码问答作为新兴基准
CodeQA是首个面向源代码理解的自由格式问答数据集，包含Java和Python的问答对，通过语法规则和语义分析从代码注释中生成。尽管问答和机器阅读理解发展迅速，但代码问答此前关注较少。CodeQA为源代码理解研究提供了基准，并展示了神经网络在该任务上的初步实验结果。
Q&A
如何将长Trivia问题自动转化为自然问题数据集？
本研究提出一种算法，利用数据集转换技术将长的Trivia问题转化为类似日常人类交流的较短问题，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高QA表现。该算法在低资源环境下使用，扩展了QA系统的规模，同时保持了训练数据的质量。
QASPER数据集是做什么的？
QASPER是一个基于自然语言处理论文的问题数据集，旨在提醒需要收集反映多部分论文主张的复杂推理难度的数据，以利于构建支持文档查找的问答系统。
SelQA数据集有什么特点？
SelQA是一个选择题型问答数据集，通过众包生成问题，并从英文维基百科中提取十个最常见主题的长度为答案。它采用语料库注释方案，通过明确减少问题和答案之间的词共现来增强生成大型、多样化和具有挑战性的数据集的过程。在回答句子选择和回答触发任务上，比较了几个系统，为未来的工作提供了强有力的基准结果。
WebQA数据集在神经QA任务上表现如何？
WebQA是一个大规模的人工标注真实世界QA数据集，通过序列标注模型将神经QA视为序列标注问题，与现有神经QA方法相比，性能大幅度提高，F1得分为74.69％。
NewsQA数据集是如何构建的？
NewsQA数据集通过四个阶段的过程收集了超过10,000篇CNN新闻文章的人类生成的问题-答案对，超过100,000个QA对，由众包工人提供，答案包含对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在NewsQA上取得显著的进展。
SearchQA数据集包含多少问答对？
SearchQA数据集包含了14万个问题-答案对，每个对平均包含49.6个片段。该数据集用于机器理解和问答，通过从J! Archive爬取的现有问题-答案配对及Google检索的文本片段进行扩充。使用人类评估以及两种基准方法进行测试，研究显示了人类和机器表现之间的显著差距，表明所提出的数据集可作为问答的基准。
CodeQA数据集是什么？
CodeQA是一个免费的自由格式问题回答数据集，旨在实现源代码理解：给定代码片段和问题，需要生成文本答案。包含119,778个Java问题-答案对和70,085个Python问题-答案对的CodeQA数据集。通过语法规则和语义分析将代码注释转换为问题-答案对。对数据集进行了系统分析，并展示了几个神经网络的实验结果。尽管关于问题回答和机器阅读理解的研究发展迅速，但很少有先前的工作关注代码问题回答。这个新数据集可以作为源代码理解研究的有用基准。
