为大模型提供全新科学复杂问答基准与测评体系，UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架
内容提要
SciQAG-24D是一个用于微调和评估大语言模型的科学QA数据集，通过从科学文献中生成高质量的问答对。研究人员使用SciQAG框架构建了这个数据集，并使用RACAR指标对问答对进行评估和筛选。实验证明，在SciQAG-24D数据集上对LLM进行微调可以显著提高其在开放式问题解答和科学任务中的性能。
延伸解读
科学问答数据集的瓶颈与突破
现有科学QA数据集多局限于选择题，且内容源自教科书，依赖专家标注，难以评估大模型的高层次科研能力。SciQAG框架通过自动生成开放式问答对，并引入RACAR多维评估指标，从科学文献中构建大规模数据集，为科学LLM的评估与微调提供了新路径。
RACAR指标：质量评估的关键
RACAR从相关性、不可知性、完整性、准确性和合理性五个维度评估问答对质量，确保生成内容不依赖原文特定信息，且科学上合理。该指标使自动筛选高质量数据成为可能，减少了人工标注成本，为大规模科学QA数据集的构建提供了可扩展的评估方案。
微调效果与下游任务提升
在SciQAG-24D上微调LLaMA1后，模型在开放式科学问答中的完整性、准确性和合理性显著提升，并在SciQ等基准及多种科学任务（如回归、分类）中表现改善。这表明基于文献生成的QA数据能有效注入科学知识，增强模型在专业领域的推理与应用能力。
开源模型与商业模型的差距
零样本测试显示，GPT-4和Claude 3在科学问答上表现优异，而LLaMA1得分最低。但经过SciQAG-24D微调后，LLaMA1-QA性能大幅提升，甚至在某些科学任务上超越专用机器学习模型。这提示开源模型通过高质量领域数据微调，可缩小与商业模型的差距。
Q&A
SciQAG-24D数据集的主要用途是什么？
SciQAG-24D数据集主要用于微调大语言模型（LLM）和评估其在科学领域的开放式问答能力。
SciQAG框架是如何生成科学问答对的？
SciQAG框架通过QA生成器提取关键词并生成问答对，随后使用QA评估器根据RACAR指标评估问答对的质量。
SciQAG-24D数据集包含多少个问答对？
SciQAG-24D数据集包含188,042个问答对。
使用SciQAG-24D微调LLM的效果如何？
在SciQAG-24D数据集上微调LLM显著提高了其在开放式问题解答和科学任务中的性能。
RACAR指标在SciQAG框架中有什么作用？
RACAR指标用于评估生成的问答对质量，包括相关性、不可知性、完整性、准确性和合理性等维度。
SciQAG-24D数据集的来源是什么？
SciQAG-24D数据集的数据来源于24个科学领域的22,743篇科学论文。
